01 · OVERVIEWarXiv:2606.09498 · 2026-06-08

Self-Harness:固定模型,按重复失败改运行程序

同一个模型做题、读失败、提修改;两组平均成绩不下降才保留,不保证每道旧题都保住。

v3本文三 benchmark 结果版本
9 / 9模型×环境组合均提升
44.4→85.0%GLM-5,AppWorld
Pass平均单次通过率,不是 success@2
v3§3–4;Table11 / 10
02 · ACTORSarXiv:2606.09498 · 2026-06-08

先分清谁写、谁执行、谁给分

执行角色

同一个模型用当前运行程序做任务,留下失败记录

提案角色

同一个模型阅读失败证据,归纳重复问题并写小修改

版本筛选

两个分区都不退化、至少一个提高才保留

版本仓库

记录候选与保留版本,拒绝修改后恢复旧程序

v3§3;同模型多角色2 / 10
03 · MOTIVATIONarXiv:2606.09498 · 2026-06-08

这篇具体补了哪个空缺?

手工 harness

每换一个做题模型,都可能要重新调程序。

开放式演化

容易大改、回退或忘记旧能力。

Self-Harness

围绕重复失败做小修改;重跑不合格就恢复旧程序。

Introduction3 / 10
04 · RELATEDarXiv:2606.09498 · 2026-06-08

重点是同模型提出受约束修改,再真实验收

工作谁改、改什么差别
Meta-Harness外部优化 Agent 搜索可执行程序不要求与做题模型相同
Agentic Harness Engineering外部 Agent 读取执行记录、修改仓库配置重点是详细观察与验收流程
Harness-R1训练独立写补丁模型用安装后重跑奖励更新模型参数
Self-Harness同模型编辑声明的 DeepAgent 配置入口参数不更新,两分区平均成绩筛选
v3§2与§4.1;Harness-R1为本文相邻比较4 / 10
05 · MECHANISMarXiv:2606.09498 · 2026-06-08

失败归类 → 最小修改 → 两分区测试 → 保留或回滚

01先运行

固定模型使用现有 DeepAgent 程序执行任务。

02归类失败

用“测试拒绝什么、哪种行为造成它、共同机制是什么”归类。

03提出修改

同一模型修改程序定义与配置,尽量不大改。

04重跑两边

held-in 与论文称为 held-out 的分区。

05保留

两边都不下降,至少一边严格提高。

06否则回滚

继续使用上一版本,不保留失败候选。

所谓 held-out 每轮也用于版本选择,是验证分区;不是最后只用一次的 blind test。

v3§3方法重绘5 / 10
06 · BOUNDARYarXiv:2606.09498 · 2026-06-08

一次尝试过不过,与两次取最好,不能混算

Terminal-Bench

固定 64 题子集;排除不稳定资源及初始 harness 不支持的多模态题。

SWE-bench Verified

100 题,按 67 / 33 分入两个版本选择分区。

AppWorld

180 题,90 / 90;应用状态测试决定任务成功。

通常每题 2 次:Pass = 全部成功尝试数 / (题数 × 2)

例:10 题各跑两次,共成功 12 次,Pass=12/20=60%;若 8 题至少成功一次,则 success@2=80%。这是假设换算例子。

v3§4与AppendixA;算例为本文说明6 / 10
07 · CASEarXiv:2606.09498 · 2026-06-08

真实 Django 案例:本地 49 tests,不是官方 47 tests 的分母

1
原提交

window expression 修补后没有成功执行目标测试;唯一应转成功的测试仍失败。

2
运行程序修改

提交前检查 diff,并要求可执行测试验证。

3
新执行

调整 SQLite casting guard,跑 expressions_window 的 49 项本地测试。

4
官方判分

1/1 FAIL-TO-PASS 与 46/46 PASS-TO-PASS 通过,任务解决。

前者检查 bug 已修,后者检查原有能力保留;本地测试与官方计分集合不同,不能写成 47/49 分。来源:v3 Appendix B.2。

v3AppendixB.2,Django运行记录7 / 10
08 · RESULTSarXiv:2606.09498 · 2026-06-08

九组均提升,但两个分区都参加了候选选择

模型Terminal · 128 次SWE · 200 次AppWorld · 360 次
MiniMax M2.542.2→53.9%46.0→52.5%48.6→58.9%
Qwen3.5-35B-A3B18.0→36.7%19.5→41.5%22.5→52.2%
GLM-546.1→57.0%52.0→55.5%44.4→85.0%

overall 合并两分区全部尝试,不把 43/21 或 67/33 的百分比各取一半。最大变化为 +40.6 个百分点;全部是筛选期任务,缺独立最终测试。

v3Table1;两个分区均参与选择8 / 10
09 · EVIDENCEarXiv:2606.09498 · 2026-06-08

平均不下降,仍可以丢失原来成功的题

官方脚本实际检查

  • 重复次数、编号、每次题数必须可比。
  • 比较两次 pass_rate 的平均。
  • 不读取逐题“哪题从成功变失败”的配对。

说明性数量,不是模型日志

  • 第一组每次 3/5→4/5,第二组 2/5→2/5,接受。
  • 丢失一题、再多解两题,也会产生上述数量。
  • 第一组提高、第二组降到 1/5,则拒绝。

本文调用固定版本 run_acceptance_gate 得到这两种结果;验证筛选逻辑,不等于重现做题实验。

2720dbb · acceptance/scripts/run_acceptance_gate.py9 / 10
10 · VERDICTarXiv:2606.09498 · 2026-06-08

结论:同模型能改程序,结果要按筛选期来读

同一冻结模型在三类任务中提出有效小修改;尚未得到独立最终测试与完整搜索成本。

方法可借鉴

归类重复失败,编辑声明入口,用真实重跑决定保留。

不保证逐题保留

两分区平均不下降,仍可能丢失个别旧成功;第二分区也参与选版本。

公开范围有限

README 只列 Terminal 结果,未等同发布全部九组实验与候选历史。

博客作者兴趣度 9.2 / 10,仅表示本人兴趣。

v3§3–4;固定仓库 README10 / 10