SFT:学习固定答案
准确率为 0.315→0.243。低概率的专家 token(模型处理的文本单位)序列可能带来较大更新、弱泛化和旧能力遗忘。
强化学习(RL):自己作答
训练样本来自当前模型,更新更接近原分布;但困难题若一组 rollout(模型独立作答)全部失败,组内奖励没有差异,也就没有可用学习信号。
作者保留专家解法提供的信息,先让基础模型把答案改写成自己更常生成的形式,再做标准 SFT。
这是 MATH(3,4,5) 同分布测试集上的结果。论文把问题归因于训练数据与基础模型的生成分布不匹配。
准确率为 0.315→0.243。低概率的专家 token(模型处理的文本单位)序列可能带来较大更新、弱泛化和旧能力遗忘。
训练样本来自当前模型,更新更接近原分布;但困难题若一组 rollout(模型独立作答)全部失败,组内奖励没有差异,也就没有可用学习信号。
作者保留专家解法提供的信息,先让基础模型把答案改写成自己更常生成的形式,再做标准 SFT。
所有与专家轨迹信息等价的回答。数学和化学近似看最终答案;医疗任务由 GPT-5-mini 判断语义等价。
在正确集合内部,基础模型原本越容易生成的答案,目标分布仍给它越高概率。
采样完成后仍用交叉熵训练,即提高目标回答中每个 token 的生成概率。改变的是数据分布。
给出 3、3、1、3 的正确系数与守恒推导。
代码随机选择 token 位置,只保留当前位置之前的回答。
提示词同时提供原题、完整专家答案和当前前缀,让基础模型续写。
候选平均对数概率提高才保留;最终提取方程,与参考的分子式、顺序和整数系数比较。
原答案与改写都得到 3 CO₂ + 3 H₂O → C₃H₆O₃ + 3 O₂。全体系数乘二仍守恒,却不等于参考,官方比较会判失败。
另一条改写答对 150.130 g/mol,却把 oxane(氧杂环己烷)错说成五元环;实际六元环含五个碳与一个氧。
满足答案约束 C 的分布中,离基础模型最近的 KL 投影正是 pC;KL 衡量两种回答分布的差别。
针对 pC 使用普通候选生成规则(proposal),与针对 pbase 使用保证答案等价的候选规则,在接受规则上等价。
若 πk 是第 k 步数据分布,则 KL(πk+1 ∥ pbase) ≤ KL(πk ∥ pbase)。
三条结论依赖正确的 MH 接受概率、稳定的目标分布与保持答案信息的候选规则。公开代码删掉了其中一部分,不能直接继承全部保证。
用带专家答案的 proposal 生成下一段。
在当前部分答案中随机挑一个位置 m。
从 m 开始生成同长度候选 x′。
理论算法计算目标概率与正反向 proposal 概率比,再随机接受。
完成一块后继续下一块,直到最长 1,856 token。
# released boost_math.py / boost_sci.py
if target_log_prob_prop[0] > target_log_prob_cur[0]:
gen = prop公开实现采用贪心规则:只要候选平均对数概率更高就接受,不计算反向 proposal,也不随机接受概率下降的候选。
| 方法 | MATH(3,4,5) | 数学新任务均分 | 旧能力均分 |
|---|---|---|---|
| Base | 0.315 | 0.318 | 0.422 |
| SFT | 0.243 | 0.242 | 0.389 |
| GRPO | 0.457 | 0.457 | 0.414 |
| UFT | 0.470 | 0.452 | 0.421 |
| Sampling SFT | 0.495 | 0.534 | 0.420 |
| Sampling SFT + RL | 0.545 | 0.567 | 0.430 |
0.420 / 0.422 = 99.5%:Sampling SFT 基本保住基础模型在 Chemistry、MMLU、GPQA 三项上的平均旧能力。
Qwen 医疗:Sampling SFT 45.8,OPSD 46.6。Olmo 化学:58.3 对 59.7。OPSD 是用当前模型生成数据、再训练同一模型的自蒸馏基线。
用 Olmo 改写的数据训练 Qwen,化学准确率只有 57.33%,低于普通 SFT 的 61.8%。
脚本写出 is_correct,但 README 未说明训练前是否过滤失败记录;公开数据也未包含最终改写集。
按论文 Eq. 9 的 T=1856、N=10、B=32 代入。它是理论生成量估算,不是完整 GPU 或美元账单。
在 Qwen 化学与数学实验中,Sampling SFT 同时改善新任务表现和旧能力保留;数学再接 RL 达到 0.567。
把专家信息当约束,让学生模型参与生成自己的训练答案,再用标准 SFT 学习。
单次实验、没有误差条;医疗与 Olmo 有负结果;公开贪心代码不满足完整 MH 接受规则。
固定生成预算,对比严格 MH、公开贪心近似与“多次改写取最高平均对数概率”,并公开过滤后的数据和接受轨迹。