[2026-05-09] Training with Harnesses: On-Policy Harness Self-Distillation for Complex Reasoning
训练时,让模型多走一遍检索或规划流程,再用这份额外材料训练它直接作答。OPHSD 在两套短流程上有效;本文用真实法律与数学题解释训练、判分,以及论文和公开实现的差异。
训练时,让模型多走一遍检索或规划流程,再用这份额外材料训练它直接作答。OPHSD 在两套短流程上有效;本文用真实法律与数学题解释训练、判分,以及论文和公开实现的差异。
模型写出代码后,训练程序执行它,让模型多看画面再判断哪些代码应该改。Visual-SDPO 还把遮挡、裁切等问题关联到源码,增加相关语句的训练权重。
模型知道相交弦定理,却把图里的线段配错。ViCuR 用训练时的视觉提示和新增注意力分支改善读图;本文追到公开数据,讲清提示从哪来、怎样蒸馏,以及哪些结果没有变好。
训练时让模型多看一份正确解,可能更容易教它模仿那份解,却没有提高实际正确率。这篇论文测量了这种偏好,也留下代码和工具任务表现变好的反例。
把正确解改成已知条件、目标、约束和变换步骤,再让模型从自己的回答中学习。这篇论文解释了提示怎样生成,也用错题提示、乱序步骤和不同选模方式检验结果。
成功记录里的下一步,不一定适合模型现在走到的位置。本文用真实购物和家庭操作案例,解释 SMRC-SD 如何检查参考步骤、训练同一模型,以及匹配规则和任务判分为什么不能混为一谈。
模型修错五次,第六次才发现漏掉了查询刷新:这些经验怎样变成训练数据?本文用真实 MapStore2 案例讲清教师重写、样本打包、补丁验收,以及少跑环境与少花计算的区别。
把成功任务记录压成向量,只在训练时给教师,用教师的概率分布训练学生。本文解释压缩模块怎样学习、怎样避免教师迎合学生,并重放原图中的真实保险任务与12条公开检查。
41 个可运行 Godot 参考游戏派生出 247 道开发、补全、修复与移植题。SWE-Game 用预定动作试玩,再检查状态变化和无输入对照;本文沿 Beacon Relay 的拾取、计时、送达过程解释判分。
给一张图片,让模型写 Blender 代码搭出整间房间或室外场景,再检查隐藏几何与重新渲染后的画面。LEGO-Anything 区分了文件能用、场景恢复正确,以及后续修改是否真的变好。