HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
固定初始程序、做题模型、环境与评分器,比较谁更会修改程序,以及 Claude Code、Codex、OpenCode 等开发工具的影响。
先分清谁写、谁执行、谁给分
optimizer
外层修改者,提交最终程序版本
coding harness
运行外层修改者的 Codex / OpenCode 等工具
target agent
被修改的内层 Agent,模型和环境固定
trusted server
可信服务执行分区评测,强制隐藏信息
这篇具体补了哪个空缺?
普通软件修复
代码补丁可用固定软件测试检查。
Agent 程序优化
候选程序要让固定模型实际做题,重复执行后估计效果。
必须固定
初始程序、做题模型、环境与评分器。
相邻工作改的对象不同,分数不能混着比
| 工作 | 修改对象 | 反馈或判分 |
|---|---|---|
| VeRO | 外层实验基础设施 | 预算、隔离、执行轨迹 |
| Meta-Harness | 一种具体搜索方法 | 候选代码与执行反馈 |
| HarnessOpt-Bench | 固定优化问题 | 开发、验证、测试分开披露 |
| SWE-bench | 修改业务代码 | 仓库测试检查补丁 |
从候选修改到最终评分的执行路径
optimizer 提交不可变 commit
题目 + 逐题得分 + 执行轨迹
至少 5 题,只返回汇总成绩
指定一个最终 commit
搜索期完全不可见
三次重复后计算归一化增益
可见信息、隐藏信息与一分怎样产生
optimizer 能看到
- 初始 harness 源码
- 开发题与逐题执行轨迹
- 验证汇总分
- 预算剩余量
optimizer 看不到
- 测试题与结果
- 测试执行轨迹
- 最终测试成绩 E(H+)
- 服务端评分文件
UID0185:查 48 个月,最终只按答案数字判分
697 份公报文本;题面要求年度求和、回归预测 1995、再除以 12
/app/answer.txt;题面未送出依据文件定位或标准答案
expected_answer=4990256;相对误差 ≤1% 才得 1,缺文件或空答案得 0
5040158 → 1;5040159 → 0。相差 49,903 就略超过容许的 49,902.56
公开开发分区真实 ID;输入数值是本文构造,判分已核对。verifier 不审计取数和回归过程;未对齐论文原始任务包字节,也没有声称这是模型成功日志。
调用中位数仅 8 次,题目额度却用掉 82%
开发 49、验证 98、测试 99;初始分 0.341
开发累计 196 题次,验证累计 392 题次
只扣 1 次 API,却扣 98 题次,即 25% 额度
55/100 个统计单元耗尽题次;不是 55/111
证据边界:API 上限原文有冲突:§3.1 写每区 100 次,§5.3 写 200 次,§5.3 的 8 次=4% 支持后者。当前代码使用每区 100 次;代码与分区已公开,不能反推论文当时的实际上限。
模型和工具的配对变化,别当成方差占比
20 组工具配对中 OpenCode 赢 11、原生工具赢 9;只有 11 组差别超过任务分辨阈值。OfficeQA ±0.045,Browse ±0.066,Terminal ±0.054,GAIA ±0.035。
证据支持什么,又没有支持什么?
可以保留的结论
- 配对统计中,换优化模型的平均影响较大。
- OpenCode 与原生 harness 都没有稳定取胜。
- 111 次实验只有 7 次主动查详细轨迹,共 16 次请求。
仍然缺的证据
- 每个配置只有两轮独立优化。
- GAIA 从不会做题的占位程序开始,应与其他可运行起点分开读。
- optimizer 自身 token 只计量、不封顶。
统一起点与信息接口,保留统计和版本边界
比较对象固定
改 harness,不能换 target model、环境或 verifier;GAIA 的零起点与其他三项分开读。
小差异不排名
每配置仅两轮优化;任务各有分辨阈值。0.63 gain 也不是 63% 的题通过。
release ≠ 原始档案
程序和分区已公开;Terminal 版本、GAIA 起点、SE/SD 与预算文本仍需对照原文。
博客作者兴趣度 9.4 / 10,仅代表本人兴趣。下一步最有用的是公开各次候选、配置和原始执行记录,并增加独立优化重复。