HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?
给模型能接收输入、调用一次模型、保存日志的最小代码,让它补齐工具调用与检查,再用冻结版本做任务。
先分清谁写、谁执行、谁给分
creator
修改 harness 代码,负责开发程序,不直接提交下游答案
executor
harness 冻结后,在其中执行真实任务
evaluator
检查真实代码差异、最终环境或答案并给分
这篇具体补了哪个空缺?
普通 benchmark
harness 固定,只比较最终答案。
HarnessDev
把调用循环、工具、历史管理、状态保存、退出与检查逻辑放进可编辑代码。
最难的判断
代码定义了组件,不代表正式任务执行时用过它。
相邻工作改的对象不同,分数不能混着比
| 工作 | 修改对象 | 反馈或判分 |
|---|---|---|
| HarnessOpt-Bench | 优化既有 harness | 开发轨迹 + 验证总分 |
| Self-Harness / Harness-R1 | 根据失败修既有程序 | 回归检查或重跑奖励 |
| Meta-Agent Challenge | 从零写任务专用 agent.py | 开发接口 + 隐藏测试 |
| HarnessDev | 创建后继续修改 | 开发案例 + 正式反馈对 |
创建代码,再用冻结版本执行与评分
接收输入、基础工具、保存日志;不做题
creator 用 1–3 个开发案例补齐程序
自用模型,或统一 Gemini executor
五项 benchmark,四个领域
100 SWE + 89 Terminal 反馈
630 道 SWE,分数不回传
可见信息、隐藏信息与一分怎样产生
creator 开发时能看到
- 任务类型说明与权限
- 弱初始代码
- 1–3 个开发案例
- 继续修改时的可见执行反馈
creator 开发时看不到
- 人工参考程序
- 创建阶段的隐藏任务
- 630 道保留题的分数
- 各 benchmark 隐藏评分器的细节
同样写出 /app/gpt2.c,判分却不同
附录 F/G 的 Terminal 开发题:executor 写 C 程序并编译;完整任务提示和隐藏测试未公开。
dev-20260804-190052 留下程序与执行日志,等待外部 verifier 后得到 1.0。
执行 94 步、81 次 Bash 调用,也写出同名文件;外部 verifier 仍给 0.0。
GPT 后来新增命令去重,但运行中的容器不加载新代码;成功属于启动时快照。
文件存在、自报 success、程序能编译都不能替代隐藏测试。公开记录不足以写出具体失败 assertion;本文没有独立复现。
三份 harness 的平均分:69.3 → 33.0
Opus 独立创建三份程序,自用 SWE avg@3=69.3
论文列出写死 120 步上限等模型专用控制逻辑
三份代码均不变,改由 Gemini 3.1 Pro 执行
三份均分 33.0;其中一份完全退化,去掉后均分 49.1
证据边界:69.3 和 33.0 都是三份独立程序的均值,不是单份成绩。49.1 是事后敏感性分析,不能替代规定的 33.0;隐藏单题检查未公开。
72/108 个组件在正式任务里完整触发
反馈分上涨,未见题仍可能退化
开发者得到的反馈
同一代码版本跑 100 SWE + 89 Terminal;最多 10 个收费评测对,H0 免费。两边完成才是正式版本。
作者最后另测的题
每个正式版本都跑另 630 道 SWE;成绩不回传,也不参与 creator 的最终版本选择。
最强反例
固定 Gemini 执行时,GPT 创建者的最终版本在 630 题上从 42.22 降到 31.90,下降 10.32 个百分点。
反馈两项等权平均,不按 189 题合并。±4.75 点的重跑波动限制了小幅增益的因果解释;每个 creator–executor 配置只有一条演化轨迹。
证据支持什么,又没有支持什么?
可以保留的结论
- 模型能从弱初始代码造出可运行系统。
- 换成统一执行模型会暴露创建者专用的控制假设。
- 反馈题上的提升经常无法完整迁移到未见题。
仍然缺的证据
- 人工参考不是同 executor 的配对控制;部分外部、部分重跑。
- 附录有开发案例摘要,但完整任务、checker 与原始轨迹未公开。
- Table 3 Avg.=(SWE+Terminal+Writing+Search)/4,不含 MLE。
看执行证据、未见题收益与换模型后的表现
要看组件是否在真实任务中执行、未见题上是否提高,以及换 executor 后控制策略还能否工作。
怎样比较程序质量
creator、executor 和外部 evaluator 分开;任务成绩与自报状态分开;人工系统参考与同 executor 控制分开。
怎样检查改动有效
先冻结代码,再完整评测;回到具体失败和实际执行路径;同时查看反馈题、未见题与重跑波动。
还不能得出的结论
没有统一条件的人工 harness 对照,没有跨领域 Evolution 保留集,也没有公开完整隐藏 checker。
博客作者兴趣度 9.6/10,仅表示个人阅读兴趣。最值得带走的是评测设计与失败诊断,不是“自动演化已经成熟”的结论。