01 · 问题arXiv:2610.02140

专家答案直接做监督微调(SFT),数学准确率反而下降

这是 MATH(3,4,5) 同分布测试集上的结果。论文把问题归因于训练数据与基础模型的生成分布不匹配。

SFT:学习固定答案

准确率为 0.315→0.243。低概率的专家 token(模型处理的文本单位)序列可能带来较大更新、弱泛化和旧能力遗忘。

强化学习(RL):自己作答

训练样本来自当前模型,更新更接近原分布;但困难题若一组 rollout(模型独立作答)全部失败,组内奖励没有差异,也就没有可用学习信号。

作者保留专家解法提供的信息,先让基础模型把答案改写成自己更常生成的形式,再做标准 SFT。

论文第 1、5 节与 Table 11 / 8
02 · 目标分布Information projection

在所有正确答案中,保留基础模型原来的相对概率

pC(x) ∝ pbase(x) · 1[x ∈ C]

C:答案约束

所有与专家轨迹信息等价的回答。数学和化学近似看最终答案;医疗任务由 GPT-5-mini 判断语义等价。

pbase:学生习惯

在正确集合内部,基础模型原本越容易生成的答案,目标分布仍给它越高概率。

训练保持不变

采样完成后仍用交叉熵训练,即提高目标回答中每个 token 的生成概率。改变的是数据分布。

论文 Definition 1–2、Proposition 12 / 8
03 · 附录真实例子CO₂ + H₂O → C₃H₆O₃ + O₂

配平答案保留,不代表所有解释都保持正确

1专家答案

给出 3、3、1、3 的正确系数与守恒推导。

2切一段前缀

代码随机选择 token 位置,只保留当前位置之前的回答。

3重写后缀

提示词同时提供原题、完整专家答案和当前前缀,让基础模型续写。

4接受并检查

候选平均对数概率提高才保留;最终提取方程,与参考的分子式、顺序和整数系数比较。

附录中的结果

原答案与改写都得到 3 CO₂ + 3 H₂O → C₃H₆O₃ + 3 O₂。全体系数乘二仍守恒,却不等于参考,官方比较会判失败。

附录里的反例

另一条改写答对 150.130 g/mol,却把 oxane(氧杂环己烷)错说成五元环;实际六元环含五个碳与一个氧。

论文 Appendix A 原/改写输出;C.1;固定 boost_sci.py,无逐轮接受日志3 / 8
04 · 三条理论结论按概率决定接受候选

完整 Metropolis-Hastings(MH)采样才有理论保证

命题 1 · 唯一目标

满足答案约束 C 的分布中,离基础模型最近的 KL 投影正是 pC;KL 衡量两种回答分布的差别。

命题 2 · 可执行转换

针对 pC 使用普通候选生成规则(proposal),与针对 pbase 使用保证答案等价的候选规则,在接受规则上等价。

命题 3 · 每步不退

若 πk 是第 k 步数据分布,则 KL(πk+1 ∥ pbase) ≤ KL(πk ∥ pbase)。

三条结论依赖正确的 MH 接受概率、稳定的目标分布与保持答案信息的候选规则。公开代码删掉了其中一部分,不能直接继承全部保证。

论文 Proposition 1–34 / 8
05 · Algorithm 1理论流程与公开实现

逐块增长答案,每块内部做 10 轮候选重写

A扩展一块

用带专家答案的 proposal 生成下一段。

B随机截断

在当前部分答案中随机挑一个位置 m。

C重写后缀

从 m 开始生成同长度候选 x′。

DMH 接受

理论算法计算目标概率与正反向 proposal 概率比,再随机接受。

E固定前缀

完成一块后继续下一块,直到最长 1,856 token。

# released boost_math.py / boost_sci.py
if target_log_prob_prop[0] > target_log_prob_cur[0]:
    gen = prop

公开实现采用贪心规则:只要候选平均对数概率更高就接受,不计算反向 proposal,也不随机接受概率下降的候选。

论文 Algorithm 1、Appendix C.2;官方仓库 aa708085 / 8
06 · 数学结果Qwen2.5-3B

Sampling SFT 均分 0.534,超过 GRPO 0.457 与 UFT 0.452

方法MATH(3,4,5)数学新任务均分旧能力均分
Base0.3150.3180.422
SFT0.2430.2420.389
GRPO0.4570.4570.414
UFT0.4700.4520.421
Sampling SFT0.4950.5340.420
Sampling SFT + RL0.5450.5670.430

0.420 / 0.422 = 99.5%:Sampling SFT 基本保住基础模型在 Chemistry、MMLU、GPQA 三项上的平均旧能力。

论文 Table 1;均为每题单次回答准确率(single-shot accuracy),未报告多随机种子误差6 / 8
07 · 结果边界正确性、迁移与计算成本

方法依赖目标基座,改写会消耗计算,也会产生错误答案

两组设置未胜出

Qwen 医疗:Sampling SFT 45.8,OPSD 46.6。Olmo 化学:58.3 对 59.7。OPSD 是用当前模型生成数据、再训练同一模型的自蒸馏基线。

换基座要重采样

用 Olmo 改写的数据训练 Qwen,化学准确率只有 57.33%,低于普通 SFT 的 61.8%。

正确性约 94%–96%

脚本写出 is_correct,但 README 未说明训练前是否过滤失败记录;公开数据也未包含最终改写集。

一次性成本约 26.9 万 token/轨迹

按论文 Eq. 9 的 T=1856、N=10、B=32 代入。它是理论生成量估算,不是完整 GPU 或美元账单。

论文 Table 1–2、Appendix B–C、Eq. 9;官方 README7 / 8
08 · 结论博客作者兴趣度 8.0 / 10

用学生模型改写专家数据,再做普通监督微调

论文已支持

在 Qwen 化学与数学实验中,Sampling SFT 同时改善新任务表现和旧能力保留;数学再接 RL 达到 0.567。

最值得复用

把专家信息当约束,让学生模型参与生成自己的训练答案,再用标准 SFT 学习。

尚未证明

单次实验、没有误差条;医疗与 Olmo 有负结果;公开贪心代码不满足完整 MH 接受规则。

下一项关键实验

固定生成预算,对比严格 MH、公开贪心近似与“多次改写取最高平均对数概率”,并公开过滤后的数据和接受轨迹。

结论来自论文、公开代码与本文复算;兴趣度不等于论文质量评级8 / 8