01 · OVERVIEWarXiv:2608.02276 · 2026-08-03

Harness-R1:训练一个专门修运行程序的模型

一个模型做购物、家务与数据库任务;另一个 9B 模型只改它的提示、工具检查和反馈处理。

9B写补丁的模型
44.3→53.6%三环境成功率等权平均
877监督训练冷启动样本
+8.9±1.5 pp1,270 个未见任务;± 三种子 SD

更新写补丁的模型,让它学会修改做题 Agent 外面的运行代码;做题模型不更新。

§3;Table1;AppendixB,v11 / 10
02 · ACTORSarXiv:2608.02276 · 2026-08-03

谁写补丁,谁实际做任务,谁给分?

harness engineer

读失败记录与 hook 接口,输出运行程序补丁;这是被训练的 9B 模型。

target agent

安装补丁后重新购物、操作家务或执行数据库任务;其模型参数冻结。

environment

WebShop / ALFWorld / DBBench 按实际任务结果返回奖励或成功状态。

trainer

比较补丁前后同批奖励,用分组强化学习 GRPO 更新 engineer。

§3及公开hooks接口2 / 10
03 · MOTIVATIONarXiv:2608.02276 · 2026-08-03

这篇具体补了哪个空缺?

一次性补丁模型

补丁合理、可运行,也可能让任务表现变差。

Harness-R1

把补丁安装后的真实后果接回训练。

仍然存在

奖励只看提供失败记录的同一批题,可能只学会眼前任务的修补。

§1–33 / 10
04 · RELATEDarXiv:2608.02276 · 2026-08-03

相邻工作改的对象不同,分数不能混着比

工作修改对象反馈或判分
Self-Harness同一个模型自提修改两个分区重跑后筛选
HarnessFix把运行步骤对应到代码,再诊断指出原因、限定可改范围
监督微调做题模型更新做题模型用标准解题记录训练
Harness-R1训练独立 engineer安装补丁后重跑的奖励差
RelatedWork;对照轴由本文整理4 / 10
05 · MECHANISMarXiv:2608.02276 · 2026-08-03

失败记录 → 补丁 → 同一批任务重跑 → 更新

01失败包

程序整理轨迹、环境反馈与 hook 接口;不是人工答案标注。

028 个候选

engineer 修改四个运行事件入口(hooks)。

03安装与重跑

target 重新执行产生失败包的完整任务批次。

04无效归零

语法错误、无改动或未完整重跑,奖励为 0。

05奖励差值

WebShop 用连续环境奖励差;不等于成功数差。

06只更新 engineer

用候选组奖励优化,target 参数保持不变。

四个 hook 在任务开始、每次决策前、动作执行前和环境反馈后调用。DBBench 只允许提示与拦截,不能由补丁直接改 SQL 或强制操作。

§3;Figure2;Algorithm1重绘5 / 10
06 · BOUNDARYarXiv:2608.02276 · 2026-08-03

训练奖励与榜单成功率是两种量

engineer 可读取

  • 失败任务的运行记录与环境反馈
  • hook 的可读字段、返回效果与限制
  • 训练器读取同批结果,更新 engineer

主奖励没有覆盖

  • 未见任务是否退化
  • 长期 token、时间与 API 成本
  • target 模型权重更新(本来就冻结)
WebShop:平均连续 reward 的前后差值;主榜:三个环境的任务成功率等权平均
§3.2奖励与Table1指标6 / 10
07 · CASEarXiv:2608.02276 · 2026-08-03

真实 WebShop 案例:漏选颜色,购买得了部分分

1
用户要求

black brown synthetic hairpiece,价格低于 $40。

2
原尝试

漏选颜色就 Buy Now;该题环境 reward 为 0.667。

3
补丁检查

行动前检查价格和必需选项,阻止缺失颜色的购买。

4
重跑证据

先选 black brown 再购买;该题 reward 为 1.0。

batch008:0.768 − 0.682 = 0.086 连续奖励增益
完整成功:5/10 − 2/10 = 0.3 成功率增益

数据来自附录保存的真实评测;奖励差与成功率差不可互换。原先成功的两题均保留。

根据 Appendix H.1 / Table H.1 重绘:batch 0087 / 10
08 · RESULTSarXiv:2608.02276 · 2026-08-03

主结果分母:500 / 500 / 300,再等权平均

设置三环境平均成功率比较边界
vanilla target44.3% → 53.6%单次任务执行,+9.3 个百分点
target 先 SFT,再修 harness59.2% → 64.2%模型训练与运行程序修补可叠加
20 个未见 target平均 +7.06 个百分点更换模型的迁移实验
1,270 个未见任务+8.9 ± 1.5 个百分点490+490+290 题合并;三种子 SD

WebShop 500、ALFWorld 500、DBBench 300 题;不是 1,300 题直接混合。Reflection 行允许两次尝试(success@2),不能当作相同单次预算。

Table1;Figure4及迁移实验8 / 10
09 · EVIDENCEarXiv:2608.02276 · 2026-08-03

证据支持什么,又没有支持什么?

可以保留的结论

  • 专门训练的补丁模型比强模型一次性修改更稳定。
  • 动作发出前的一段条件检查,也能改变最终结果。
  • 去掉动作前检查或反馈后处理,会明显掉分;各环境影响不一致。

仍然缺的证据

  • 主奖励来自提供失败记录的同一批任务。
  • 公开 ALFWorld 例:修好 102、改坏 59,净增 43/490。
  • 尚未验证能否处理另一套接口或大型代码库。
消融与limitations9 / 10
10 · VERDICTarXiv:2608.02276 · 2026-08-03

结论:用补丁的实际后果训练工程师

方法用安装补丁后的实际奖励训练写补丁模型;尚未证明它学会了通用软件维护。

训练编辑策略

更新 engineer,不更新 target;失败输入只含记录与接口约束。

奖励看实际重跑

WebShop 连续奖励差与主榜成功率分开;无效归零,退化可为负。

泛化不等于无回归

未见任务按 1,270 题合并,净收益中仍有旧成功被改坏。

博客作者兴趣度 9.1 / 10,仅表示本人兴趣。

本文综合判断10 / 10