01 · OVERVIEWarXiv:2609.01437 · 2026-09-01

HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?

给模型能接收输入、调用一次模型、保存日志的最小代码,让它补齐工具调用与检查,再用冻结版本做任务。

2,207不重复下游实例
18独立生成的 Code harness
67.8 / 86.2四项均分:自用系统 / 人工参考
+4.44630 道保留题上的最大增益(百分点)
论文摘要、Table 1 与主结果表1 / 12
02 · ACTORSarXiv:2609.01437 · 2026-09-01

先分清谁写、谁执行、谁给分

creator

修改 harness 代码,负责开发程序,不直接提交下游答案

executor

harness 冻结后,在其中执行真实任务

evaluator

检查真实代码差异、最终环境或答案并给分

论文方法定义与评测协议2 / 12
03 · MOTIVATIONarXiv:2609.01437 · 2026-09-01

这篇具体补了哪个空缺?

普通 benchmark

harness 固定,只比较最终答案。

HarnessDev

把调用循环、工具、历史管理、状态保存、退出与检查逻辑放进可编辑代码。

最难的判断

代码定义了组件,不代表正式任务执行时用过它。

引言与问题定义3 / 12
04 · RELATEDarXiv:2609.01437 · 2026-09-01

相邻工作改的对象不同,分数不能混着比

工作修改对象反馈或判分
HarnessOpt-Bench优化既有 harness开发轨迹 + 验证总分
Self-Harness / Harness-R1根据失败修既有程序回归检查或重跑奖励
Meta-Agent Challenge从零写任务专用 agent.py开发接口 + 隐藏测试
HarnessDev创建后继续修改开发案例 + 正式反馈对
Related Work;比较轴为本文整理4 / 12
05 · MECHANISMarXiv:2609.01437 · 2026-09-01

创建代码,再用冻结版本执行与评分

01最小代码

接收输入、基础工具、保存日志;不做题

02创建

creator 用 1–3 个开发案例补齐程序

03冻结执行

自用模型,或统一 Gemini executor

04外部判分

五项 benchmark,四个领域

05继续修改

100 SWE + 89 Terminal 反馈

06未见题

630 道 SWE,分数不回传

方法与评测协议5 / 12
06 · BOUNDARYarXiv:2609.01437 · 2026-09-01

可见信息、隐藏信息与一分怎样产生

creator 开发时能看到

  • 任务类型说明与权限
  • 弱初始代码
  • 1–3 个开发案例
  • 继续修改时的可见执行反馈

creator 开发时看不到

  • 人工参考程序
  • 创建阶段的隐藏任务
  • 630 道保留题的分数
  • 各 benchmark 隐藏评分器的细节
真实代码差异 / 最终环境 / 正式交付物 → 原 benchmark 评分器;自报 success 不计分
评测协议与指标6 / 12
07 · CASE · REAL RUNarXiv:2609.01437 · 2026-09-01

同样写出 /app/gpt2.c,判分却不同

1
题目与提交物

附录 F/G 的 Terminal 开发题:executor 写 C 程序并编译;完整任务提示和隐藏测试未公开。

2
GPT 的正式运行

dev-20260804-190052 留下程序与执行日志,等待外部 verifier 后得到 1.0。

3
Opus 的正式运行

执行 94 步、81 次 Bash 调用,也写出同名文件;外部 verifier 仍给 0.0。

4
哪份代码得到验证

GPT 后来新增命令去重,但运行中的容器不加载新代码;成功属于启动时快照。

文件存在、自报 success、程序能编译都不能替代隐藏测试。公开记录不足以写出具体失败 assertion;本文没有独立复现。

附录 F 第 12–13 步;附录 G 第 10 步7 / 12
08 · TRANSFERarXiv:2609.01437 · 2026-09-01

三份 harness 的平均分:69.3 → 33.0

1
原设置

Opus 独立创建三份程序,自用 SWE avg@3=69.3

2
隐藏假设

论文列出写死 120 步上限等模型专用控制逻辑

3
只换 executor

三份代码均不变,改由 Gemini 3.1 Pro 执行

4
观测

三份均分 33.0;其中一份完全退化,去掉后均分 49.1

证据边界:69.3 和 33.0 都是三份独立程序的均值,不是单份成绩。49.1 是事后敏感性分析,不能替代规定的 33.0;隐藏单题检查未公开。

Tables 3–4、Figure 6;三副本均值与排除分析分开8 / 12
09 · RESULTSarXiv:2609.01437 · 2026-09-01

72/108 个组件在正式任务里完整触发

组件进入正式路径
72 / 108
只出现部分证据
18 / 108
完全没触发
18 / 108
§4.2 执行审计:26,679 条记录;未发现检查点保存事件9 / 12
10 · EVOLUTION · HELD-OUTarXiv:2609.01437 · 2026-09-01

反馈分上涨,未见题仍可能退化

开发者得到的反馈

同一代码版本跑 100 SWE + 89 Terminal;最多 10 个收费评测对,H0 免费。两边完成才是正式版本。

作者最后另测的题

每个正式版本都跑另 630 道 SWE;成绩不回传,也不参与 creator 的最终版本选择。

最强反例

固定 Gemini 执行时,GPT 创建者的最终版本在 630 题上从 42.22 降到 31.90,下降 10.32 个百分点。

反馈与保留集同方向:34/64 次修改;选中保留集最优版本:2/9 条轨迹

反馈两项等权平均,不按 189 题合并。±4.75 点的重跑波动限制了小幅增益的因果解释;每个 creator–executor 配置只有一条演化轨迹。

§4.3、Table 6、Figure 8、附录 E.210 / 12
11 · EVIDENCEarXiv:2609.01437 · 2026-09-01

证据支持什么,又没有支持什么?

可以保留的结论

  • 模型能从弱初始代码造出可运行系统。
  • 换成统一执行模型会暴露创建者专用的控制假设。
  • 反馈题上的提升经常无法完整迁移到未见题。

仍然缺的证据

  • 人工参考不是同 executor 的配对控制;部分外部、部分重跑。
  • 附录有开发案例摘要,但完整任务、checker 与原始轨迹未公开。
  • Table 3 Avg.=(SWE+Terminal+Writing+Search)/4,不含 MLE。
论文实验、消融与 limitations11 / 12
12 · VERDICTarXiv:2609.01437 · 2026-09-01

看执行证据、未见题收益与换模型后的表现

要看组件是否在真实任务中执行、未见题上是否提高,以及换 executor 后控制策略还能否工作。

怎样比较程序质量

creator、executor 和外部 evaluator 分开;任务成绩与自报状态分开;人工系统参考与同 executor 控制分开。

怎样检查改动有效

先冻结代码,再完整评测;回到具体失败和实际执行路径;同时查看反馈题、未见题与重跑波动。

还不能得出的结论

没有统一条件的人工 harness 对照,没有跨领域 Evolution 保留集,也没有公开完整隐藏 checker。

博客作者兴趣度 9.6/10,仅表示个人阅读兴趣。最值得带走的是评测设计与失败诊断,不是“自动演化已经成熟”的结论。

综合判断;事实与评论已分开12 / 12