从同一个几何步骤重新往下解,比较最终成绩,训练更有效的解法
Code-CoT 让模型用代码、推理和操作标签写几何解题过程,每个完整步骤叫 event。CE-GRPO 固定某个 event 前已有的内容 prefix,从这里生成四种完整后续 future。最终成绩的差异用于训练新生成的步骤和全部后续;prefix 不更新。
GRPO 用最终得分比较整条回答,同一回答的生成 token 共用一个相对成绩
给出原图和问题,模型要识别对象、选定理、构造和计算。
每条都生成完整推理与答案,检查程序给最终分 R。
算这条比同组平均好多少;回答里每个生成 token 共用这个值。
训练要从某一步分叉,程序首先得找到这一步的完整边界
表示缺口:representation gap
自由文本把对象关系、角度判断和辅助线构造埋在句子里;任意 token 边界未必对应一个完整几何步骤。
训练反馈缺口:credit gap
整条回答的最终分数,不能直接说明“固定此前内容,换掉这个决定后会怎样”。需要从同一个位置生成多种后续来比较。
作者的意思是:推理时完整步骤的起点,也用作训练时重新生成的起点。这个步骤的全部后续仍一起训练。
代码不能代替图像;图像与外部生成代码一起输入时,六个模型都更好
只给图像 I
模型直接读图。六个模型的平均准确率范围从 45.5 到 92.3。
图像与外部代码 I+C
六个模型全部提升,绝对增益为 0.7 到 18.4 个百分点。
只给自产代码
三个开源模型比 只给外部代码 低 11.7 到 16.6 个百分点,说明可靠生成代码本身就是瓶颈。
所以 Code-CoT 保留原图,让同一个模型自己生成代码,并用 SFT 明确教会这种协议。只写一个 prompt 的平均分反而从 67.95 降到 49.26。
Code-CoT 用标签让程序找到识图代码、计划、操作与答案
步骤类型决定怎样改变当前几何状态,以及程序检查什么
| 步骤类型 | 作用 | 有效条件 |
|---|---|---|
think | 根据当前图、代码和前序步骤推导 | 起止标签完整;不计入操作有效率的分子或分母 |
reference | 第一次使用视觉事实前,取回识图代码行 | 行号存在、内容逐行匹配、最多 8 行 |
auxiliary | 添加连线、延长线、中点、圆或变量 | 对象已存在;新对象有具体可执行代码;操作类型受支持 |
coordinate | 建立坐标系并给对象赋坐标 | 调用 set_frame;没有省略号;坐标是具体值 |
结构有效的回答至少有两个操作。引用代码一致不保证原图事实正确,视觉保真度另由 Table 4 的模型评分检查。
先用 18,302 条合成记录做 SFT;再固定采 3,270 个分支起点
按问题文字和图片去除与评测集重叠的数据。
把几何图转换成带行号、可执行的识图代码。
看问题、代码和参考答案,生成计划、步骤与答案。学生只看原图和问题,不看答案。
核验格式、代码执行、引用行号与复制内容、操作和最终答案;通过后做 SFT(监督微调)。
格式坏了直接 −1;格式有效时,看答案、操作有效率和行为惩罚
R = clip(correct + 0.3 × valid_actions / all_actions − penalties, -1, 1.3)
答案分 correct
答对给 1,答错给 0;选择题需选项完全匹配,数值题容许 1% 相对误差。
操作有效率
引用代码、辅助构造和坐标操作各自按规则检查。通过的操作数除以总操作数。
行为惩罚
重复操作、重复文字和答案泄漏分别扣分;论文未公开阈值、权重和检测逻辑。
最高 1.3:答案正确、所有操作有效、没有惩罚;错答但操作全有效且无惩罚为 0.3。
Selector 先提两个分支候选;是否关键,要看重采后最终分有没有差异
第一个候选:think
默认第一个完整推理块。只有另一个 think 的 type-normalized entropy 高出 1 个标准差以上,才替换。
第二个候选:action
选择归一化 entropy 最高的操作块。另以 15% 概率,把一个候选替换成随机完整 event。
Entropy 用 top-20 候选概率近似生成不确定性,再在同类完整步骤内标准化;未公开剩余概率和零标准差的处理。
从同一事件起点生成四种完整后续,再用终局分更新这些新 token
固定 prefix zc
保留原图、问题和 event 前的已有回答。删除原 event 与其全部后续,再让模型从此继续;prefix 只作输入,不进入 loss。
→
→
↘
新 event 和全部 future token 一起接收这条后续的 advantage,并按 GRPO 裁剪概率比更新。不是只训练这个 event。四条最终分相同则不更新;本页分数为公式说明例,非作者日志。
现有工作通常只解决“结构化表示”或“给中间步骤分配得分”中的一边
| 路线 | 推理单元 | 得分或监督怎样分配 | 本文声称的差异 |
|---|---|---|---|
| PAL / ToRA | 程序或工具调用 | 主要优化完整解题行为 | 以带类型标签的完整步骤确定分支起点;所得分更新整条新后续。 |
| AlphaGeometry / GDP / GeoTikzBridge | 形式语言或解析结果 | 常见为外部或两阶段表示 | CE-GRPO 在一次回答内保留图像、生成代码并继续推理。 |
| CodePlot-CoT / MathCanvas | 生成图像的代码或视觉操作 | 用于增强中间推理 | 将带类型的完整步骤作为强化学习的同组分支起点。 |
| VinePPO / SPO / high-entropy token | 状态、片段或 token | 更细的相对得分 | 先按几何步骤定边界,再用同类步骤标准化后的不确定性分配采样预算。 |
| GPO / SRPO / CFPO / GRPO-MA | 关键步骤、重置点或分支 | 重采后续,比较步骤的相对回报 | 不另用逐步标注或价值模型;分支边界来自 Code-CoT 标签,评分仍依赖几何任务规则。 |
九项评测各用固定测试集;总分是九项准确率的算术平均
测试规模
MathVerse 3,940;VisOnlyQA 485/295;GPS 216;Geometry3K 589;PGPS9K 1,000;GeoQA 754;GeoLaux-mini 330;MM-Math 996。
答案 judge
Gemini-3.1-Pro-Preview 与 Gemini-2.5-Pro 独立判断预测答案是否等价于参考答案;分歧时重复,直到一致。
严格成功
Code-CoT response 必须恰好有一个非空 <answer>;未闭合或格式无效直接算错。主结果每步选概率最高的 token,不做随机采样。
结构比单看不确定性更有效;再加不确定性,主要改善分支成本而非命中率
命中率与成本来自 300 题离线验证;事件数回归是相关证据,不是因果证明。
排除无效结束回答后,平均增益仍在;两模型比较的并非同一批有效题
只看有效回答
CE-GRPO 平均准确率 79.82%,整条回答级 GRPO 为 75.92%;论文报告增益 3.91 个百分点。未有效结束比例却略高:4.72% 对 4.22%。
分母随模型而变
各模型只保留自己的有效结束回答。这个对照部分排除格式影响,但不是相同题目上的配对比较;不能单独隔离解题能力变化。
按表内舍入值,79.82 − 75.92 = 3.90;论文用未舍入值报告 3.91。Table 5 / 6 的 CE 无效比例分别是 4.73% / 4.72%,保留报告差别。
几何步骤能作为分支起点;当前证据尚不足以比较训练效率和通用性
论文内已测
- CE-GRPO 九项平均 76.04,比整条执行记录 GRPO 高 3.43 个百分点。
- GeoLaux-mini、MM-Math 增益较大,VisOnlyQA-Syn 和 Geometry3K 则较低。
- 识图代码对可见事实的宏平均覆盖分从 55.21 到 80.43;渲染成功率到 99%。
- 推理只生成一次完整回答,不做测试时分支。
不能据此确认
- 官方仓库只有 README,没有代码、数据、checker 或 checkpoint。
- CE 使用 64 张 A100、每题 4 次尝试;整条执行记录 GRPO 用 8 张 MI300X、8 次尝试,不是等算力。
- 3,270 个 prefix 固定来自初始 SFT 模型,未比较训练中刷新。
- 强模型合成和评分没有人工校准;主结果缺重复训练,迁移到一般代码任务未测。