01 · 核心结论Guo et al. · arXiv:2608.30457v1 · 2026-08-31

从同一个几何步骤重新往下解,比较最终成绩,训练更有效的解法

76.04九项 benchmark 无权平均准确率
+3.43 pp相对整条回答训练的 trajectory GRPO
+15.16 ppGeoLaux-mini 上的最大增益
8.7 / 10博客作者个人兴趣程度

Code-CoT 让模型用代码、推理和操作标签写几何解题过程,每个完整步骤叫 event。CE-GRPO 固定某个 event 前已有的内容 prefix,从这里生成四种完整后续 future。最终成绩的差异用于训练新生成的步骤和全部后续;prefix 不更新。

来源:Abstract、Sections 1、4 至 601 / 18
02 · 训练反馈一个最终分,对应多个决定

GRPO 用最终得分比较整条回答,同一回答的生成 token 共用一个相对成绩

题目

给出原图和问题,模型要识别对象、选定理、构造和计算。

→
同题多条回答

每条都生成完整推理与答案,检查程序给最终分 R。

→
相对得分 advantage

算这条比同组平均好多少;回答里每个生成 token 共用这个值。

Aᵢ = (Rᵢ − mean(R)) / (std(R) + 10⁻⁶)
Credit assignment 指最终得分应该鼓励哪些生成步骤。若早期把几何关系判断错了,后面沿错误前提推导,整条得分无法单独比较早期决定的替代方案。
来源:Introduction、Equation 3;GRPO 是组相对强化学习更新方法
03 · 研究问题先找到完整步骤,再比较它的替代后续

训练要从某一步分叉,程序首先得找到这一步的完整边界

表示缺口:representation gap

自由文本把对象关系、角度判断和辅助线构造埋在句子里;任意 token 边界未必对应一个完整几何步骤。

训练反馈缺口:credit gap

整条回答的最终分数,不能直接说明“固定此前内容,换掉这个决定后会怎样”。需要从同一个位置生成多种后续来比较。

credit-addressable reasoning = inference event boundary = training branch boundary

作者的意思是:推理时完整步骤的起点,也用作训练时重新生成的起点。这个步骤的全部后续仍一起训练。

来源:Section 1;术语为作者提出
04 · 图像与代码对照代码补充图像,不替代图像

代码不能代替图像;图像与外部生成代码一起输入时,六个模型都更好

只给图像 I

模型直接读图。六个模型的平均准确率范围从 45.5 到 92.3。

图像与外部代码 I+C

六个模型全部提升,绝对增益为 0.7 到 18.4 个百分点。

只给自产代码

三个开源模型比 只给外部代码 低 11.7 到 16.6 个百分点,说明可靠生成代码本身就是瓶颈。

所以 Code-CoT 保留原图,让同一个模型自己生成代码,并用 SFT 明确教会这种协议。只写一个 prompt 的平均分反而从 67.95 降到 49.26。

来源:Table 1、Figure 2、Section 3
05 · 回答格式固定标签协议,中间 think/action 可重复

Code-CoT 用标签让程序找到识图代码、计划、操作与答案

<perception>带行号的可执行 Matplotlib 图形代码
PLAN:一行解题计划
<think>一个完整推理步骤
<action>引用代码/辅助构造/建坐标系
<think>可继续交替生成推理与操作
<answer>恰好一个非空答案块
完整 think 或 action 块叫 event。候选池只包含这些完整块;识图代码、计划、答案和无标签文字都不会作为重新生成的起点。图中六块是格式示意,不表示每条回答恰好六段。
来源:Section 4.2、Appendix A.1
06 · 步骤类型每类完整步骤改变什么

步骤类型决定怎样改变当前几何状态,以及程序检查什么

步骤类型作用有效条件
think根据当前图、代码和前序步骤推导起止标签完整;不计入操作有效率的分子或分母
reference第一次使用视觉事实前,取回识图代码行行号存在、内容逐行匹配、最多 8 行
auxiliary添加连线、延长线、中点、圆或变量对象已存在;新对象有具体可执行代码;操作类型受支持
coordinate建立坐标系并给对象赋坐标调用 set_frame;没有省略号;坐标是具体值

结构有效的回答至少有两个操作。引用代码一致不保证原图事实正确,视觉保真度另由 Table 4 的模型评分检查。

来源:Appendix A.1、Table 8
07 · 合成与训练数据强模型合成、程序过滤、训练前一次采前缀

先用 18,302 条合成记录做 SFT;再固定采 3,270 个分支起点

8 个数据集

按问题文字和图片去除与评测集重叠的数据。

→
GEMINI 3.1 PRO

把几何图转换成带行号、可执行的识图代码。

→
DEEPSEEK-V4-PRO

看问题、代码和参考答案,生成计划、步骤与答案。学生只看原图和问题,不看答案。

→
检查后保留

核验格式、代码执行、引用行号与复制内容、操作和最终答案;通过后做 SFT(监督微调)。

18,302过滤后的 SFT 记录
11,450去重后的 RL 原始问题
3,270初始 SFT 模型在 2,000 题各生成两次,筛出的唯一 prefix
Prefix 是事件开始前的已有内容。每个最多重复四次,得到 11,450 行 prefix 样本;与普通问题 1:1 混合。这些起点只采一次,RL 全程固定,不是随模型在线刷新。
来源:Section 4.3、Appendices A.2、A.4、A.5;Table 9
08 · 训练评分由规则程序评分,不另训 reward model

格式坏了直接 −1;格式有效时,看答案、操作有效率和行为惩罚

R = -1, if structurally invalid
R = clip(correct + 0.3 × valid_actions / all_actions − penalties, -1, 1.3)

答案分 correct

答对给 1,答错给 0;选择题需选项完全匹配,数值题容许 1% 相对误差。

操作有效率

引用代码、辅助构造和坐标操作各自按规则检查。通过的操作数除以总操作数。

行为惩罚

重复操作、重复文字和答案泄漏分别扣分;论文未公开阈值、权重和检测逻辑。

最高 1.3:答案正确、所有操作有效、没有惩罚;错答但操作全有效且无惩罚为 0.3。

来源:Equation 2、Appendix A.3;完整 checker 实现尚未公开
09 · 分支起点标签先定允许的位置,不确定性再排优先级

Selector 先提两个分支候选;是否关键,要看重采后最终分有没有差异

第一个候选:think

默认第一个完整推理块。只有另一个 think 的 type-normalized entropy 高出 1 个标准差以上,才替换。

第二个候选:action

选择归一化 entropy 最高的操作块。另以 15% 概率,把一个候选替换成随机完整 event。

Entropy 用 top-20 候选概率近似生成不确定性,再在同类完整步骤内标准化;未公开剩余概率和零标准差的处理。

训练只用返回的第一个候选;离线验证才同时测两个。从同一个 prefix 生成的完整后续(sibling futures)若得分不同,这里才被计为 critical event。选择器本身不先给“关键”标签。
来源:Equation 4、Appendix A.4;selector 为选择器,event 为完整带标签步骤
10 · 分支更新固定 prefix,重写 event 和全部 future

从同一事件起点生成四种完整后续,再用终局分更新这些新 token

固定 prefix zc

保留原图、问题和 event 前的已有回答。删除原 event 与其全部后续,再让模型从此继续;prefix 只作输入,不进入 loss。

↗
→
→
↘
后续 1:答对、操作全有效、无惩罚,R=1.3
后续 2:答对、操作全有效、无惩罚,R=1.3
后续 3:答错、操作全有效、无惩罚,R=0.3
后续 4:答错、操作全有效、无惩罚,R=0.3
说明例:R=[1.3, 1.3, 0.3, 0.3] → 均值 0.8、总体 std 0.5 → A≈[+1, +1, −1, −1]

新 event 和全部 future token 一起接收这条后续的 advantage,并按 GRPO 裁剪概率比更新。不是只训练这个 event。四条最终分相同则不更新;本页分数为公式说明例,非作者日志。

来源:Equations 5 至 7、Appendices A.3 至 A.5;masked prefix 不参与 policy loss
11 · 完整训练流程根据 Figure 3 重绘
Code-CoT 与 CE-GRPO 五步训练流程
根据原论文 Figure 3、Sections 4.1-4.4 重绘
12 · 等腰三角形案例错误关系假设怎样传到最终答案
AB=AC=13、BC=10、BD=2:错误把 AD 当高得 12,正确求得 3√17
根据 Figure 5、Appendix C.1 重绘。12 的相对误差为 2.986%;原图 -1 总分不能仅凭答案错误推出。
13 · 相关工作表示与训练须对应同一个完整步骤

现有工作通常只解决“结构化表示”或“给中间步骤分配得分”中的一边

路线推理单元得分或监督怎样分配本文声称的差异
PAL / ToRA程序或工具调用主要优化完整解题行为以带类型标签的完整步骤确定分支起点;所得分更新整条新后续。
AlphaGeometry / GDP / GeoTikzBridge形式语言或解析结果常见为外部或两阶段表示CE-GRPO 在一次回答内保留图像、生成代码并继续推理。
CodePlot-CoT / MathCanvas生成图像的代码或视觉操作用于增强中间推理将带类型的完整步骤作为强化学习的同组分支起点。
VinePPO / SPO / high-entropy token状态、片段或 token更细的相对得分先按几何步骤定边界,再用同类步骤标准化后的不确定性分配采样预算。
GPO / SRPO / CFPO / GRPO-MA关键步骤、重置点或分支重采后续,比较步骤的相对回报不另用逐步标注或价值模型;分支边界来自 Code-CoT 标签,评分仍依赖几何任务规则。
来源:Section 2、Appendix B.2、Table 12。GRPO-MA 是固定离线分支、无中间推理独立得分的适配基线。
14 · 主表评测九项固定测试集,双模型评审

九项评测各用固定测试集;总分是九项准确率的算术平均

测试规模

MathVerse 3,940;VisOnlyQA 485/295;GPS 216;Geometry3K 589;PGPS9K 1,000;GeoQA 754;GeoLaux-mini 330;MM-Math 996。

答案 judge

Gemini-3.1-Pro-Preview 与 Gemini-2.5-Pro 独立判断预测答案是否等价于参考答案;分歧时重复,直到一致。

严格成功

Code-CoT response 必须恰好有一个非空 <answer>;未闭合或格式无效直接算错。主结果每步选概率最高的 token,不做随机采样。

论文没有报告双 judge 的初始一致率、重复次数、人工裁决,也没有给主结果误差条。
来源:Appendix B.1、Table 11、Table 13
15 · 主结果平均分掩盖部分任务回退
CE-GRPO 与三类基线在九项 benchmark 上的准确率
根据原论文 Table 2 重绘;CE-GRPO - Trajectory GRPO 由表中数值复算
16 · 消融与机制分析选择器对照;验证分最高的模型版本

结构比单看不确定性更有效;再加不确定性,主要改善分支成本而非命中率

Random prefix
72.48
Entropy only
72.83
Structure only
74.26
Structure + entropy
76.04
0.289 → 0.287两次选择至少命中一个关键步骤的回答比例;组合未提高,随机为 0.222
85k → 75k结构到组合:每个关键事件的生成 token 成本
+3.77 pp/event九套任务基准的步骤数与 CE 相对整条执行记录 GRPO 增益的回归斜率

命中率与成本来自 300 题离线验证;事件数回归是相关证据,不是因果证明。

来源:Table 5、Table 14、Figure 4;各选择器报告验证分最高的模型版本,未给重复训练的方差
17 · 有效回答对照原论文 Table 6

排除无效结束回答后,平均增益仍在;两模型比较的并非同一批有效题

只看有效回答

CE-GRPO 平均准确率 79.82%,整条回答级 GRPO 为 75.92%;论文报告增益 3.91 个百分点。未有效结束比例却略高:4.72% 对 4.22%。

分母随模型而变

各模型只保留自己的有效结束回答。这个对照部分排除格式影响,但不是相同题目上的配对比较;不能单独隔离解题能力变化。

MathVerse:62.44% / (1 − 5.61%) ≈ 66.15%

按表内舍入值,79.82 − 75.92 = 3.90;论文用未舍入值报告 3.91。Table 5 / 6 的 CE 无效比例分别是 4.73% / 4.72%,保留报告差别。

来源:Table 6;公式由本文复算,未运行模型或官方评测
18 · 结论与限制已有机制与复现、评测缺口

几何步骤能作为分支起点;当前证据尚不足以比较训练效率和通用性

论文内已测

  • CE-GRPO 九项平均 76.04,比整条执行记录 GRPO 高 3.43 个百分点。
  • GeoLaux-mini、MM-Math 增益较大,VisOnlyQA-Syn 和 Geometry3K 则较低。
  • 识图代码对可见事实的宏平均覆盖分从 55.21 到 80.43;渲染成功率到 99%。
  • 推理只生成一次完整回答,不做测试时分支。

不能据此确认

  • 官方仓库只有 README,没有代码、数据、checker 或 checkpoint。
  • CE 使用 64 张 A100、每题 4 次尝试;整条执行记录 GRPO 用 8 张 MI300X、8 次尝试,不是等算力。
  • 3,270 个 prefix 固定来自初始 SFT 模型,未比较训练中刷新。
  • 强模型合成和评分没有人工校准;主结果缺重复训练,迁移到一般代码任务未测。
博客作者兴趣度 8.7 / 10。优先补公开实现、等 token 预算对照和多随机种子实验,再判断这种分支训练的收益。
来源:Sections 5 至 7、Appendices A 至 C、官方 GitHub revision a6b03dc