更新写补丁的模型,让它学会修改做题 Agent 外面的运行代码;做题模型不更新。
Harness-R1:训练一个专门修运行程序的模型
一个模型做购物、家务与数据库任务;另一个 9B 模型只改它的提示、工具检查和反馈处理。
谁写补丁,谁实际做任务,谁给分?
harness engineer
读失败记录与 hook 接口,输出运行程序补丁;这是被训练的 9B 模型。
target agent
安装补丁后重新购物、操作家务或执行数据库任务;其模型参数冻结。
environment
WebShop / ALFWorld / DBBench 按实际任务结果返回奖励或成功状态。
trainer
比较补丁前后同批奖励,用分组强化学习 GRPO 更新 engineer。
这篇具体补了哪个空缺?
一次性补丁模型
补丁合理、可运行,也可能让任务表现变差。
Harness-R1
把补丁安装后的真实后果接回训练。
仍然存在
奖励只看提供失败记录的同一批题,可能只学会眼前任务的修补。
相邻工作改的对象不同,分数不能混着比
| 工作 | 修改对象 | 反馈或判分 |
|---|---|---|
| Self-Harness | 同一个模型自提修改 | 两个分区重跑后筛选 |
| HarnessFix | 把运行步骤对应到代码,再诊断 | 指出原因、限定可改范围 |
| 监督微调做题模型 | 更新做题模型 | 用标准解题记录训练 |
| Harness-R1 | 训练独立 engineer | 安装补丁后重跑的奖励差 |
失败记录 → 补丁 → 同一批任务重跑 → 更新
程序整理轨迹、环境反馈与 hook 接口;不是人工答案标注。
engineer 修改四个运行事件入口(hooks)。
target 重新执行产生失败包的完整任务批次。
语法错误、无改动或未完整重跑,奖励为 0。
WebShop 用连续环境奖励差;不等于成功数差。
用候选组奖励优化,target 参数保持不变。
四个 hook 在任务开始、每次决策前、动作执行前和环境反馈后调用。DBBench 只允许提示与拦截,不能由补丁直接改 SQL 或强制操作。
训练奖励与榜单成功率是两种量
engineer 可读取
- 失败任务的运行记录与环境反馈
- hook 的可读字段、返回效果与限制
- 训练器读取同批结果,更新 engineer
主奖励没有覆盖
- 未见任务是否退化
- 长期 token、时间与 API 成本
- target 模型权重更新(本来就冻结)
真实 WebShop 案例:漏选颜色,购买得了部分分
black brown synthetic hairpiece,价格低于 $40。
漏选颜色就 Buy Now;该题环境 reward 为 0.667。
行动前检查价格和必需选项,阻止缺失颜色的购买。
先选 black brown 再购买;该题 reward 为 1.0。
完整成功:5/10 − 2/10 = 0.3 成功率增益
数据来自附录保存的真实评测;奖励差与成功率差不可互换。原先成功的两题均保留。
主结果分母:500 / 500 / 300,再等权平均
| 设置 | 三环境平均成功率 | 比较边界 |
|---|---|---|
| vanilla target | 44.3% → 53.6% | 单次任务执行,+9.3 个百分点 |
| target 先 SFT,再修 harness | 59.2% → 64.2% | 模型训练与运行程序修补可叠加 |
| 20 个未见 target | 平均 +7.06 个百分点 | 更换模型的迁移实验 |
| 1,270 个未见任务 | +8.9 ± 1.5 个百分点 | 490+490+290 题合并;三种子 SD |
WebShop 500、ALFWorld 500、DBBench 300 题;不是 1,300 题直接混合。Reflection 行允许两次尝试(success@2),不能当作相同单次预算。
证据支持什么,又没有支持什么?
可以保留的结论
- 专门训练的补丁模型比强模型一次性修改更稳定。
- 动作发出前的一段条件检查,也能改变最终结果。
- 去掉动作前检查或反馈后处理,会明显掉分;各环境影响不一致。
仍然缺的证据
- 主奖励来自提供失败记录的同一批任务。
- 公开 ALFWorld 例:修好 102、改坏 59,净增 43/490。
- 尚未验证能否处理另一套接口或大型代码库。
结论:用补丁的实际后果训练工程师
方法用安装补丁后的实际奖励训练写补丁模型;尚未证明它学会了通用软件维护。
训练编辑策略
更新 engineer,不更新 target;失败输入只含记录与接口约束。
奖励看实际重跑
WebShop 连续奖励差与主榜成功率分开;无效归零,退化可为负。
泛化不等于无回归
未见任务按 1,270 题合并,净收益中仍有旧成功被改坏。
博客作者兴趣度 9.1 / 10,仅表示本人兴趣。