论文解读·

[2026-06-08] Self-Harness: Harnesses That Improve Themselves

Self-Harness 让同一个模型做任务、阅读失败原因,再修改自己的运行程序。重点是候选如何生成和保留、真实测试怎样判补丁成功,以及反复用于筛选的验证题为什么不等于最终盲测。

页数
10
形式
交互图解
更新
2026.10.20
文章目录

arXiv:2606.09498v3 · 本文按 v3 解读;最早公开于 2026-06-08

10 页交互图解 · 任务、机制、真实案例、结果与边界大屏阅读 ↗

使用按钮或 ← → 翻页,F 进入或退出全屏按 Esc 退出全屏;独立打开后可返回文章

同一个模型先做任务,再阅读自己失败的记录,修改负责给它提供提示、工具和执行检查的程序。模型参数保持不变。系统把候选放到两组任务上重跑,只保留两组平均成绩都不下降、至少一组提高的版本。论文称为 held-out 的那组任务每轮都参与筛选,需要按验证集来理解。

博客作者兴趣度 9.2 / 10评分只表示博客作者本人对“写、修、演化 harness code”这条研究线的阅读兴趣,不是论文质量评级
3 × 3模型 × 基准任务组合
9 / 9两个候选筛选分区均提升
44.4 → 85.0GLM-5 AppWorld
2 次v3 每个候选、每道题的重跑次数

1. Motivation:运行程序能否按模型自己的失败改进

不同模型会犯不同错误,为每个新模型手工调整运行程序很费时。Self-Harness 让当前模型读自己的失败轨迹、概括反复出现的原因,再提交最小修改;两个数据分区都不退化、至少一个提高时,系统才采用新版本。

2. Related Work:固定模型下的保守补丁搜索

Self-Harness 只改预先声明的运行配置,并逐个验证候选。普通 prompt search 主要改输入文字;Harness-R1 训练另一个写补丁的模型;HarnessFix 先把运行记录对应到具体代码位置。Self-Harness 不训练模型,也不引入更强编辑器。正式实验从最小 DeepAgent 配置出发,编辑它的定义文件;这比在整个任意代码库里自由改架构更窄(v3 §4.1)。

路线谁提出修改输入与可改对象差别
Meta-Harness外部优化 Agent程序、得分和轨迹;搜索可执行 harness不要求编辑者与做题模型相同
Agentic Harness Engineering执行诊断与修改的外部 Agent详细运行记录和仓库配置重点是可观察的执行证据与验收流程
Self-Harness当前做题模型换一个提案输入归类后的失败、历史修改、声明的配置入口同模型、参数固定;两个分区的平均成绩决定保留
Figure 1:人工修改、外部强模型修改,以及做题模型修改自身 harness 的三种关系
Hangfan Zhang 等,论文 Figure 1 原图(arXiv v3,CC BY 4.0)。三栏分别是人工改运行程序、外部 Agent 改目标 Agent 的运行程序、做题模型参与修改自己的运行程序。图画的是提案者身份;候选能否保留还要经过后文的重跑。

3. Method:失败归类、提出小修改、双分区重跑

一轮先收集失败证据,再提修改,最后决定是否替换当前版本。模型用旧 harness 跑提供失败证据的 held-in 分区。原 benchmark 的测试程序,也就是 verifier,先给每次运行判成功或失败;外层系统随后记录“测试拒绝什么、Agent 的哪种行为造成它、这些行为有什么共同机制”。这组三项描述称为 failure signature。只有三项一致的失败才归到同一类;不是看两条长日志语义相似就合并。

  1. 系统把每类失败的数量、代表题、关键记录和测试结果整理成一包证据(evidence bundle),交给同一个模型的“提案者”角色。
  2. 提案者还看到当前可改配置、需要保住的成功行为、以前试过的改动。它为不同失败提出互相区分的小修改,并说明预计改变什么行为和可能的回归。
  3. 每个候选在两个固定分区上各重跑通常两次。held-out 分区的轨迹不交给提案者,但通过数会用于筛选版本。无实际编辑或运行失败的候选直接拒绝。
  4. 两个分区都不退化、至少一个严格提高时,外层程序保留候选;兼容的已通过修改可以合并,拒绝的候选只留在日志里。
accept(e) ⇔ Δin ≥ 0 ∧ Δho ≥ 0 ∧ max(Δin, Δho) > 0

Δ 是候选与旧版本的平均单次通过率之差。这个接受规则称为 promotion gate,即“哪些候选获准成为下一版本”。仅作计算示例:若一个候选两分区分别多通过 2 次与少通过 1 次,合计虽然提高 1 次,仍会拒绝;分别多通过 2 次与保持不变则可接受。这不是论文的一条实测候选日志。

“不退化”只检查分区平均值。一个分区里,原来成功的一题可以被改坏,只要新增成功补回来。下面是根据官方 run_acceptance_gate.py 写的 Python 3 简化算例,不是论文原始运行:每组 5 题跑两次,第一组每次从 3 题成功变成 4 题成功,第二组维持 2 题成功,候选获准保留。即使第一组丢失旧成功、再新增两题成功,这个只看数量的规则也区分不出来。

1
2
3
4
5
6
7
8
9
def mean_pass(repeats):
return sum(passed / total for passed, total in repeats) / len(repeats)

baseline = [[(3, 5), (3, 5)], [(2, 5), (2, 5)]]
candidate = [[(4, 5), (4, 5)], [(2, 5), (2, 5)]]
deltas = [mean_pass(c) - mean_pass(b)
for b, c in zip(baseline, candidate)]
accepted = min(deltas) >= 0 and max(deltas) > 0
assert accepted

真实脚本还要求重复次数正确、重复编号不冲突,并核对候选与基线每次的题数一致;随后比较每次通过率的平均。本文直接调用固定版本的官方函数,用上述数量得到 accepted;把第二组改成每次只成功 1 题则得到 rejected。这验证的是筛选计算,不是重现模型做题。

Figure 3 展示起点为什么称为“最小配置”:DeepAgent 默认提供读写文件和 shell 工具,初始额外子 Agent 与 skills 列表为空,运行控制关闭。可改入口包括启动提示、执行提示、提交前验证、工具报错后的恢复,以及子 Agent 定义等。Figure 5 的 MiniMax 修改例如把“先找最小编辑位置”改为“尽早写出所需输出文件”,并在累计 50 条工具消息后加入停止重复操作的提示。50 是这项修改的触发阈值,不能当成全套实验统一的硬性工具预算。

这里的 held-out 每轮都影响选择,因此是搜索期验证和回归集,不是最终只看一次的盲测。参数冻结也不等于没有过拟合:程序版本仍在这两个分区的反馈上反复选择。

Figure 2:旧 harness 收集失败、同一模型提出修改、两组任务验证,接受后形成下一版 harness
Hangfan Zhang 等,论文 Figure 2 原图(arXiv v3,CC BY 4.0)。图中 held-out 轨迹不进入提案材料,但其成绩参与每轮接受决策;因此它是反复使用的验证分区。

4. Experiments:分母、可执行测试与九组提升

Pass 是平均单次通过率,不是“两次任意一次通过就算成功”。论文 v3 用固定的 Terminal-Bench 64 题子集、SWE-bench Verified 100 题和 AppWorld 180 题;每题跑两次且题数相同,因此可写成 成功尝试数/(题数×2)。公开 Terminal 分区是 43/21,SWE 是按仓库比例抽样的 67/33,AppWorld 是 90/90:前者包含官方全部训练题,后者按比例取自 test_normal 与 test_challenge。Terminal 排除不稳定外部资源和初始 harness 不支持的多模态题,外网限速 2 MB/s,并镜像一部分稳定但下载慢的资源。这是受控子集,不是完整排行榜设置。

每道 SWE 题在独立 Docker 仓库环境执行,官方实例镜像给最终代码差异判分;单题超时 3,600 秒,工具超时 120 秒。AppWorld 每题重置应用状态,最多 50 个 Agent 回合,由官方状态测试判分。MiniMax、GLM 通过托管服务调用,Qwen 部署在 4 张 H200 上。做题模型与提案模型相同,各候选比较中的模型、评测程序、任务分区与不可改配置固定。论文没有报告整个搜索的统一 token 成本,不能把“不训练模型”直接等同于“低成本”。

Figure 14 左半:旧 harness 没有跑目标测试就提交,官方 FAIL-TO-PASS 为零比一
Hangfan Zhang 等,论文 Figure 14 左半原图(PDF v3,第 27 页,CC BY 4.0):旧程序未成功执行相关测试便提交,官方 F2P 0/1、P2P 46/46。点击可看完整原图;此处仅裁切。
Figure 14 右半:新 harness 在提交前跑 49 项本地测试,官方 FAIL-TO-PASS 一比一、PASS-TO-PASS 四十六比四十六
同一 Figure 14 右半原图:新程序先跑 expressions_window 的 49 项本地测试,再由官方评测得到 F2P 1/1、P2P 46/46。两套测试不是同一个分母。
展开完整 Figure 14 原图
Figure 14:Django 修复在旧、新 harness 下的完整左右轨迹
Hangfan Zhang 等,Figure 14 完整原图,arXiv v3,CC BY 4.0;上方两张局部按原图左右顺序阅读。

真实 Django 案例:提交前的本地测试与官方判分

v3 Appendix B.2 与 Figure 14 给出 Qwen3.5 的 Django 案例。Agent 读仓库、修数据库窗口函数表达式(window expression),提交代码差异。原运行把针对 SQLite 数据类型转换的条件检查(casting guard)放在整个窗口表达式外层,没有成功执行目标测试就结束,唯一应被修好的测试仍失败。

Self-Harness 修改的是做题程序的提交前检查:检查代码差异、调用测试验证,并在测试仍失败时继续修。改用新程序后,仍由做题 Agent 调整源码,把 casting guard 放到可用于窗口函数的内部表达式,再运行包含 49 个测试的 expressions_window 测试组。提案者没有替官方评测器直接判成功。

最终官方评测程序报告 1/1 FAIL-TO-PASS 和 46/46 PASS-TO-PASS 通过,任务才算解决。前者是原来失败、修后应通过的测试,后者检查原来通过的行为仍正常;若唯一 FAIL-TO-PASS 失败,其他全部通过也不能算解决。49 个本地测试与 47 个官方计分测试是不同集合,不能混成“47/49 分”。论文摘录没有给出完整任务 ID、测试列表和成对运行文件;这不意味着 SWE-bench 上游的测试都未公开。本文没有复现这条模型轨迹,也不把一题的 47 项检查推广到所有 SWE 题。

AppWorld 的 Figure 18 提供另一种错误:MiniMax 原运行向聚餐的 7 位参与者都发出收款请求,忽略已经支付的交易。新程序要求读完分页、检查时间范围,再由 Agent 查询出 4 位已经付款的人,只向余下 3 人请求付款。GLM 的 Figure 22 则在分页读全后修改全部 12 条目标记录,并为只要求执行动作的任务传入 answer=None。这些是论文公开的前后轨迹;题目完整初始化数据和逐项状态测试没有在该摘录展开,不能伪造交易金额或声称已经重放 checker。

MiniMax M2.5、Qwen3.5-35B-A3B、GLM-5 在 Terminal-Bench 2.0、SWE-bench Verified、AppWorld 的九种组合都在两个候选筛选分区上提高。原论文 Table 1 同时列出 held-in、held-out 和 overall;overall 是两组全部尝试合并后的通过率,不能将 43/21 或 67/33 的两组百分比直接各取一半。

Table 1 原表:三模型在 Terminal-Bench 2.0、SWE-bench Verified 和 AppWorld 的 held-in、held-out、overall 通过率
Hangfan Zhang 等,论文 Table 1 原表(PDF v3,第 11 页,CC BY 4.0);仅裁切。绿色括号是相对增幅,手机端可放大横向阅读。

例如 Qwen 在 Terminal 的初始 18.0% 对应约 23/128,新版本 36.7% 对应约 47/128;这些是按表中保留一位小数反算的数量,不是额外运行日志。最大绝对提升是 GLM 的 AppWorld 增加 40.6 个百分点;Qwen 在 AppWorld 的相对增幅约 132%,与“增加 132 个百分点”不同。两个分区都参与过每轮筛选,仍不能当成独立最终测试。

其他保留修改也很具体。Terminal-Bench harness 会更早创建题目要求的输出文件,检测重复调用工具却没有进展的循环,并在执行前检查所需软件依赖;AppWorld harness 补齐多页查询结果,要求确认真实外部状态发生变化后才能宣布完成。每个候选通常只重跑两次,随机波动仍可能让筛选规则接受偶然提升。九组实验都来自三个工程任务基准,尚未证明这些修改会跨域迁移。

5. Discussion:再留一套从未参与版本选择的题

应另留一套完全不参与版本筛选的最终测试题,并增加独立重复。每个候选通常只重跑两次,偶然波动也可能过关;可以增加随机种子,或按累计证据决定是否保留。还应检查延迟、token、权限和安全:通过率不下降并不能排除数据泄漏、过度工具调用或偷偷改变任务要求。

官方仓库固定版本 2720dbb3f52283684f4b85a1065d642df1779dd8 可访问。README 的结果只列 Terminal-Bench,并写着 More results are coming soon。因此能核对公开筛选脚本与 Terminal 分区,但不能宣称全部九组实验、全部拒绝候选及 AppWorld/SWE 成对轨迹都已发布。复现时还需保存完整搜索历史与随机种子,才能计算找到好版本付出的代价。

6. Conclusion:最小编辑有效,但筛选分区不是独立测试

同一个冻结模型能从失败证据提出有效的运行程序修改。小范围编辑和双分区筛选值得借鉴;但论文里的 held-out 已参与搜索,只能说“未用于失败归类的回归题也提高了”,还不是完全独立的最终泛化证明。

最强结果九个组合都在两个候选筛选分区提高。
评测限制第二分区参与选版本;平均不下降仍可丢失旧成功。
工程设计归纳失败、提出小修改、双分区重跑,不合格就回滚。
适合读者想用失败证据自动调整运行程序的工程与研究人员。

主要来源:arXiv:2606.09498v3 的 §3–4、Table 1、Appendix B.2 及 Figure 12;最早日期另取 v1 元数据。v1 只有 Terminal-Bench,本文的三 benchmark / 九组合结果来自 v3,不能归到初版。代码固定版本为 2720dbb3f52283684f4b85a1065d642df1779dd8。

留言

留言正在载入…

搜文章