01 · OVERVIEWarXiv:2608.06301 · 2026-08-06

HarnessOpt-Bench: Evaluating LLMs at Harness Optimization

固定初始程序、做题模型、环境与评分器,比较谁更会修改程序,以及 Claude Code、Codex、OpenCode 等开发工具的影响。

111有分数的优化实验
0.142更换优化模型的平均增益变化
0.079更换外层工具的平均增益变化
82%题目执行额度消耗的中位数
论文摘要、Table 1 与主结果表1 / 11
02 · ACTORSarXiv:2608.06301 · 2026-08-06

先分清谁写、谁执行、谁给分

optimizer

外层修改者,提交最终程序版本

coding harness

运行外层修改者的 Codex / OpenCode 等工具

target agent

被修改的内层 Agent,模型和环境固定

trusted server

可信服务执行分区评测,强制隐藏信息

论文方法定义与评测协议2 / 11
03 · MOTIVATIONarXiv:2608.06301 · 2026-08-06

这篇具体补了哪个空缺?

普通软件修复

代码补丁可用固定软件测试检查。

Agent 程序优化

候选程序要让固定模型实际做题,重复执行后估计效果。

必须固定

初始程序、做题模型、环境与评分器。

引言与问题定义3 / 11
04 · RELATEDarXiv:2608.06301 · 2026-08-06

相邻工作改的对象不同,分数不能混着比

工作修改对象反馈或判分
VeRO外层实验基础设施预算、隔离、执行轨迹
Meta-Harness一种具体搜索方法候选代码与执行反馈
HarnessOpt-Bench固定优化问题开发、验证、测试分开披露
SWE-bench修改业务代码仓库测试检查补丁
Related Work;比较轴为本文整理4 / 11
05 · MECHANISMarXiv:2608.06301 · 2026-08-06

从候选修改到最终评分的执行路径

01候选版本

optimizer 提交不可变 commit

02开发题

题目 + 逐题得分 + 执行轨迹

03验证题

至少 5 题,只返回汇总成绩

04选版本

指定一个最终 commit

05隐藏测试

搜索期完全不可见

06报告分数

三次重复后计算归一化增益

方法与评测协议5 / 11
06 · BOUNDARYarXiv:2608.06301 · 2026-08-06

可见信息、隐藏信息与一分怎样产生

optimizer 能看到

  • 初始 harness 源码
  • 开发题与逐题执行轨迹
  • 验证汇总分
  • 预算剩余量

optimizer 看不到

  • 测试题与结果
  • 测试执行轨迹
  • 最终测试成绩 E(H+)
  • 服务端评分文件
g = (E(H+) − E(H0)) / (1 − E(H0));初始与候选都对每道测试题跑三次
评测协议与指标6 / 11
07 · REAL TASKVeRO d140001… · Harbor 37db108…

UID0185:查 48 个月,最终只按答案数字判分

1
Agent 看见

697 份公报文本;题面要求年度求和、回归预测 1995、再除以 12

2
Agent 交付

/app/answer.txt;题面未送出依据文件定位或标准答案

3
隐藏检查

expected_answer=4990256;相对误差 ≤1% 才得 1,缺文件或空答案得 0

4
已运行官方函数

5040158 → 1;5040159 → 0。相差 49,903 就略超过容许的 49,902.56

公开开发分区真实 ID;输入数值是本文构造,判分已核对。verifier 不审计取数和回归过程;未对齐论文原始任务包字节,也没有声称这是模型成功日志。

Harbor UID0185 instruction/config/evaluate/reward;官方函数核对7 / 11
08 · CASEarXiv:2608.06301 · 2026-08-06

调用中位数仅 8 次,题目额度却用掉 82%

1
OfficeQA 分区

开发 49、验证 98、测试 99;初始分 0.341

2
各四遍全量额度

开发累计 196 题次,验证累计 392 题次

3
一次全量验证

只扣 1 次 API,却扣 98 题次,即 25% 额度

4
预算统计

55/100 个统计单元耗尽题次;不是 55/111

证据边界:API 上限原文有冲突:§3.1 写每区 100 次,§5.3 写 200 次,§5.3 的 8 次=4% 支持后者。当前代码使用每区 100 次;代码与分区已公开,不能反推论文当时的实际上限。

Table 3、§5.3、Figure 15;两种预算单位与原文冲突8 / 11
09 · RESULTSarXiv:2608.06301 · 2026-08-06

模型和工具的配对变化,别当成方差占比

换优化模型的 gain 差
0.142
换外层工具的 gain 差
0.079

20 组工具配对中 OpenCode 赢 11、原生工具赢 9;只有 11 组差别超过任务分辨阈值。OfficeQA ±0.045,Browse ±0.066,Terminal ±0.054,GAIA ±0.035。

Tables 1–2、§§5.1–5.4;resolution band 不是置信区间9 / 11
10 · EVIDENCEarXiv:2608.06301 · 2026-08-06

证据支持什么,又没有支持什么?

可以保留的结论

  • 配对统计中,换优化模型的平均影响较大。
  • OpenCode 与原生 harness 都没有稳定取胜。
  • 111 次实验只有 7 次主动查详细轨迹,共 16 次请求。

仍然缺的证据

  • 每个配置只有两轮独立优化。
  • GAIA 从不会做题的占位程序开始,应与其他可运行起点分开读。
  • optimizer 自身 token 只计量、不封顶。
论文实验、消融与 limitations10 / 11
11 · TAKEAWAYSarXiv:2608.06301 · 2026-08-06

统一起点与信息接口,保留统计和版本边界

比较对象固定

改 harness,不能换 target model、环境或 verifier;GAIA 的零起点与其他三项分开读。

小差异不排名

每配置仅两轮优化;任务各有分辨阈值。0.63 gain 也不是 63% 的题通过。

release ≠ 原始档案

程序和分区已公开;Terminal 版本、GAIA 起点、SE/SD 与预算文本仍需对照原文。

博客作者兴趣度 9.4 / 10,仅代表本人兴趣。下一步最有用的是公开各次候选、配置和原始执行记录,并增加独立优化重复。

论文 v1 与固定 release 分开解读;未复现 111 次优化实验11 / 11