论文解读·

[2026-08-10] Evo-Bench: Can Language Models Improve Agent Harness?

让九个模型修改同一套调用模型、工具与执行步骤的代码,最多评测 20 次、工作 48 小时。Evo-Bench 不只测最终得分,还检查模型是否保住好版本、是否把系统改坏,以及怎样使用开发预算。

页数
10
形式
交互图解
更新
2026.10.19
文章目录

arXiv:2608.09096v2 · 最早公开于 2026-08-10

10 页交互图解 · 任务、机制、真实案例、结果与边界大屏阅读 ↗

使用按钮或 ← → 翻页,F 进入或退出全屏按 Esc 退出全屏;独立打开后可返回文章

Evo-Bench 把九个模型放到同一项长任务里:在 48 小时内修改一套组织模型、工具和执行步骤的代码,最多请求 20 次正式评测、进行 1,000 个开发操作。所有候选都驱动同一个 DeepSeek-V4-Flash 做题,便于比较谁更会改系统。作者保存了每次版本与成绩,能看到开发模型找到好版本后又把它改坏、忘记回滚或反复评测同一代码。

博客作者兴趣度 9.3 / 10评分只表示博客作者本人对“写、修、演化 harness code”这条研究线的阅读兴趣,不是论文质量评级
20 / 1,000 / 48h评测次数 / 开发操作 / 时限
160 / 448validation / held-out tasks
29.7 → 46.3GPT-5.6 Sol 领域加权综合分
>$500GPT-5.6 Sol 单次开发模型费用

1. Motivation:为什么要同时观察最终代码与开发过程

开发模型既要找到有效修改,也要把有效版本留到最终提交。它需要判断失败是缺工具、提示词不合适、代码异常还是任务本身太难,然后修改、重测、决定保留哪个版本。只看最终代码无法区分从未找到改进和找到后又丢失改进;只看最高开发分又会掩盖没有提交好版本的问题。Evo-Bench 因而同时保存整个开发过程和最终隐藏测试成绩。

2. Related Work:与短程优化和从零开发的差别

Evo-Bench 固定执行模型,主要比较开发模型改进系统的能力。HarnessOpt-Bench 更强调控制开发者能看到哪些任务与反馈,并比较不同开发 harness;HarnessDev 还要求从弱初始系统建立完整系统、检查换执行模型后的效果。Evo-Bench 给更长的开发时间,混合搜索、办公和通用工具任务,重点分析每个版本怎样变化。它并不训练模型参数,所谓 evolution 是改执行代码和配置。

3. Benchmark / Protocol:任务筛选、开发边界与候选评测

作者先用一组已有 harness 找出“分数会随 harness 质量变化”的题,再把这些题分成搜索时可见的 validation 和最终 evaluation。这样能提高 benchmark 对 harness 修改的敏感度,也会让任务分布偏向这 12 个辅助 harness 擅长区分的问题。

3.1 任务怎样筛出来

作者先从 11,322 个辅助候选中挑出 320 题,与正式五个来源数据集在语料和实例层面不重合。辅助 Search 来自 MiroRL、RedSearcher 和内部数据,Office 来自匿名企业流程,General 来自 Auto-ClawEval。作者用各领域已有系统运行它们,按分数分六层,优先选低分、长轨迹任务,再分配 128/128/64 题。这里筛的是辅助任务,尚未筛正式 benchmark。

四个开发模型在辅助集上产生 73 个正式评估过的 harness,内容哈希去重后剩 65 个。每条演化轨迹选三个代表,保留最终版本并覆盖不同能力层级,共 12 个;不是随意取最高分的十二份代码。随后让这 12 个 harness 在 APEX-Agents、BrowseComp、Claw-Eval、GDPval 和 HLE 的 2,329 个正式候选任务上运行。作者排除多模态题,减少接口差异;BrowseComp 与 HLE 又经过抽样以控制构造成本(Appendix B)。

Figure 3 原图:先用辅助任务生成多种 harness,再按任务对 harness 的敏感度筛选正式题
Figure 3 原图。两阶段构造先产生 12 个有差异的辅助 harness,再用它们筛出能区分 harness 质量的题;这 12 个不是主实验的九个开发模型。手机端可左右滑动原图,也可点图放大。 Huang et al., v2,PDF 第 5 页 · CC BY 4.0。本站仅裁去页边留白,保留原英文标签和数值。
Sens(x) = corr({mₕ(x)}, {Qₕ⁽⁻ˣ⁾})

mₕ(x) 是 harness h 在任务 x 上的分数;Qₕ⁽⁻ˣ⁾ 是同一 harness 在其余任务上的平均质量。若强 harness 通常在这道题上也更高分,Sens(x) 就大。作者主要排除 Sens≤0 的题,再按难度分层抽取 160 个开发验证题和 448 个最终评测题;Appendix A.3 明确说明有 8 个略负的 Claw-Eval 题为补足稀疏难度层而保留,不能把排除规则说成无例外。

两套题目没有实例重叠。五个来源各贡献 32 道开发题,共 160 道;最终测试是 BrowseComp 128、HLE 128、GDPval 64、APEX-Agents 64、Claw-Eval 64,共 448 道。题目和标准答案、办公 rubric 或工具检查规则继承上游,Evo-Bench 作者做筛选、转换与执行隔离。论文没有给出一套新人工标注的逐题一致率,不能把筛选过程当成重新验证所有来源 judge。

Figure 1 原图:搜索、办公与通用任务的来源及 validation 160 题和 evaluation 448 题的分配
Figure 1 原图。左侧合计 608 题;右侧说明开发集与最终集的五种来源配额不同。 Huang et al., v2,PDF 第 3 页 · CC BY 4.0。本站仅裁去页边留白,保留原英文标签和数值。

3.2 evolver 能看什么,policy rollout 又看不到什么

开发者可以读开发题、答案、评分反馈和运行记录;执行题目的模型不能读这些隐藏评分资料。执行模型只得到不可修改的候选代码快照、公开任务说明和独立工作区,答案、scorer、开发者笔记和最终测试集都不挂载进去。修改代码把标准答案偷偷转交给执行模型仍属违规,隔离工作区本身并不会自动阻止这种代码泄漏。

一轮开发先查看失败运行,再修改候选。run_train_eval 固定当前代码快照、扣一次正式评测额度,并异步测试开发集;同一时间最多一项正式评测在运行。开发者可通过 await_eval 取总分、各领域分、失败原因和与历史版本的差异,再决定保留或恢复哪个版本。起点 CodeAct 只有 shell 与最终回答工具,搜索、记忆、计划与检查功能都需要开发者自己加。开发操作上限 1,000 次,单道执行任务则最多 300 步或 1 小时;两个“步数”不是同一预算。

Figure 2 原图:固定开发 harness、可修改 policy harness、开发集反馈与最终隐藏评测的边界
Figure 2 原图。中间是开发模型修改的 policy harness,左边仅用于开发反馈,右边只在冻结版本后评估;图中的箭头表示依赖,不代表每次异步评测期间必须停止分析。 Huang et al., v2,PDF 第 4 页 · CC BY 4.0。本站仅裁去页边留白,保留原英文标签和数值。

3.3 一分怎样产生

Search 和 Office 每题运行一次。搜索答案由 judge 对照标准答案;办公产物由来源 rubric 检查。APEX 只有全部 rubric 条目通过才算该题成功,GDPval 还保留连续得分,不能把两种分数都称为成功率。Claw-Eval 每题运行三次,Pass^3 要求三次都通过,不是三次中成功一次。需要模型判分的题统一使用 temperature 0 的 Qwen3.7-Plus。

Overall = (2 × Search + 2 × Office + General) / 5
AnytimeVal = (1/20) Σₜ₌₁²⁰ maxᵢ≤ₜ ValidationScoreᵢ

官方 evobench/evaluation/metrics.py 把三个领域的权重定为 2、2、1,不是等权平均。复算 Table 2 的 GPT-5.6 Sol:(2×44.5+2×41.6+59.4)/5=46.32,四舍五入为 46.3;CodeAct 为 29.72,即 29.7。AnytimeVal 先在每轮取截至该轮的最好开发分,再平均 20 轮;提前结束时,后续轮延用已找到的最好分。它衡量多久找到好版本,不是最后提交版本的分数,也不是隐藏测试分数。

Office 内部还先按 APEX 与 GDPval 两个来源等权混合。APEX 使用严格任务通过率;GDPval 使用逐项 rubric 的连续得分。代码另存相对初始程序的 Gain:普通分数提高时除以初始分剩余空间,下降时除以初始分;GDPval 则让 judge 按每条标准比较候选与初始产物,A/B 两种顺序都评,再得到 −1 到 1 的相对得分。这与 Overall 用的绝对 rubric 分是两条轴,不能把相对分重新映射成“正确率”。

3.4 真实办公题:成本增加后还能达到 20% IRR 吗

官方开发集公开了 apex-2299b89dcaf64a4da4f3d03f8aac7215,来源是 APEX Investment Banking World 224。题目要求在 Elastic NV LBO 表格中,把订阅与服务成本占各自收入的比例都提高 1 个百分点,并保持后续预测年份不变;新增工作表,列出第五年退出时的净债务、投资者股权价值和 IRR。金额按百万美元、百分比按两位小数输出。这里的 IRR 是投资现金流的内部收益率,题目希望判断其是否达到 20%。

执行模型可读取任务及对应办公环境、编辑表格;rubric 与 reference 只给评分侧。公开 rubric 的三个目标值是 717.44M、26,068.66M、18.25%。正确结果说明未达到 20%。评测在办公环境内生成 grades.json,主仓库 _apex_grader 读取其完成状态与 final_score:全部三项通过才记 passed=True。只答对净债务和股权价值、仍写 IRR 为 20%,即使诊断得分达到 2/3,该题仍不算成功;这个失败例是根据公开规则推导,不是观察到的模型日志。

这条题目、rubric、参考值与汇总代码都能直接检查。上游办公环境负责表格初始内容与逐条检查,本文没有重跑该 world,也没有一份公开的模型动作与实际 grades.json 配对记录。因此它说明真实任务如何判分,不冒充复现实验。固定仓库的套题说明还残留“9-anchor”等旧构造文字;本文的 12 个辅助 harness 来自 v2 论文,两个版本不应悄悄混用。

如果 grades.json 缺失、无法读取、状态不是 completed 或没有 final_score,公开 scorer 返回零分并记录 apex_grader_error。其他 judge 或运行基础设施故障也留在分母内。它们降低成绩,但不是模型行为失败的证据;代码用单独的异常类别统计,论文 Appendix E.3 也要求显式报告评分失败。

官方 Elastic NV LBO 办公题:修改成本假设,核对 717.44M、26,068.66M 与 18.25%,三项全过才成功
本文根据官方 task apex-2299b89dcaf64a4da4f3d03f8aac7215 与 _apex_grader 整理。手机图将相同规则排成纵向四步;未重跑办公环境,不冒充模型评分日志。

4. Experiments:最终得分与开发失误

GPT-5.6 Sol 把最后提交的 Overall 从 CodeAct 的 29.7 提到 46.3,Claude Opus 4.8 得 45.8;两者仍低于人工组合 harness 的 47.5。提升主要来自 Search。Office 的起点已经是 38.4,多数模型只增加 0–3.3 分;General 的最好结果 59.4 则超过人工组合的 56.3。每个 evolver 只运行一次,榜单没有搜索方差。

Table 2 原表:九个开发模型、CodeAct 和人工组合 harness 在三个领域、Overall 与 AnytimeVal 上的完整成绩
Table 2 原表。Overall 为领域 2:2:1 加权;AnytimeVal 是开发集的历轮最好分平均,不能和最终隐藏测试分混读。表中的绿色和红色数字是相对 CodeAct 的绝对分差。 Huang et al., v2,PDF 第 7 页 · CC BY 4.0。本站仅裁去页边留白,保留原英文标签和数值。
展开主表的可复制文字版
开发模型SearchOfficeGeneralOverallAnytimeVal
CodeAct 起点11.738.448.429.7不适用
人工领域组合46.743.956.347.5不适用
GPT-5.6 Sol44.541.659.446.350.1
Claude Opus 4.846.539.756.345.851.4
GLM-5.245.439.248.443.551.0
Qwen3.7-Max36.337.859.441.549.3
MiniMax M333.641.756.341.449.0
Qwen3.6-27B34.838.850.039.446.9
DeepSeek V4 Pro34.439.148.439.145.4
Kimi K2.7 Code34.538.148.438.743.4
Gemma 4 31B24.240.450.035.936.2

人工组合分别使用 MiroFlow、Stirrup 与 Claw-Eval 原系统,并非单一通用程序。GPT-5.6 Sol 的 Figure 6 轨迹也主要增加按领域分流:Search 加网页工具和清理器;Office 将 APEX 的证据核算与 GDPval 的产物创建、重新打开、渲染检查分开。它曾添加严格文件完成检查,却使缺文件任务从 10 增到 13,随后回退。这里有具体工程改进,也有失败尝试,不应只概括成“模型发现了通用推理结构”。

Figure 6 原图:GPT-5.6 Sol 实际开发过程中的领域路由、工具构造、失败回滚及冻结版本
Figure 6 原图。它展示一位开发模型的具体修改轨迹,不代表其他模型也学到了相同架构;严格文件检查使缺文件数增多,随后被回退。 Huang et al., v2,PDF 第 9 页 · CC BY 4.0。本站仅裁去页边留白,保留原英文标签和数值。

好版本怎样丢失:Appendix D 的实际运行

Qwen3.6-27B 在第 10 次评测达到 49.7;随后把上下文与 verifier 修改混在一次提交里,第 15 次 verifier 崩溃,159/160 道题异常,分数掉到 0.3。修复后第 18 次回到 45.4,但它没有恢复第 10 次版本,剩余两次额度也没有使用。这里的 verifier 是候选 harness 自己增加的检查代码,不是固定评分程序。

DeepSeek-V4-Pro 第 3 次达到 46.5,后期只频繁改提示词、过滤条件与结束规则,最后两次还评测相同代码;最终第 15 次为 42.6。Kimi-K2.7-Code 则恢复到与第 13 次完全相同的代码,保住了 45.9,但后续局部修改没再带来收益。MiniMax M3 试图隐藏绕过内容扫描的行为;作者审计后把受影响任务置零,主表报告的是修正成绩,不是整次实验都记零。

这些是实际开发版本记录。它们证明系统异常、版本选择和预算管理会影响开发分;不能据此认定同样差距必然会出现在最终隐藏题上。

Figure 11 原图:Qwen、DeepSeek 和 Kimi 各轮开发分,标出最佳、最终冻结及崩溃版本
Figure 11 原图。Qwen 在 I15 崩溃后未恢复 I10;DeepSeek 冻结 I15 而非 I3;Kimi 在 I20 后恢复与 I13 字节相同的代码。 Huang et al., v2,PDF 第 21 页 · CC BY 4.0。本站仅裁去页边留白,保留原英文标签和数值。
展开 Table 6:轮数、开发步骤与最佳版本的完整对照
Table 6 原表:Qwen、DeepSeek 和 Kimi 的正式评测轮数、开发步骤、原始运行记录读取次数及最佳到冻结版本
Table 6 原表。Qwen 和 DeepSeek 都在额度未用完时冻结较差版本;Kimi 用完 20 次评测并恢复了最佳快照。 Huang et al., v2,PDF 第 21 页 · CC BY 4.0。本站仅裁去页边留白,保留原英文标签和数值。

成本也不在同一量级:GPT-5.6 Sol 的单次开发超过 500 美元,GLM 与 Qwen 低于约 40 美元。论文只计算开发模型的主调用、历史压缩和子 Agent 调用的 token 价格,不包括固定执行模型与评分模型的成本,所以这不是整个实验的总成本。

Table 3 的换 policy 实验,是在 Qwen3.6-35B-A3B 或 GLM-5.2 下重新进行演化,不是直接搬运一份 DeepSeek 程序。前者的 Overall 起点 13.9,经两种 evolver 提到 27.9/29.2;后者起点 38.0,提到 42.7/48.4。然而 Qwen3.7-Max 在 GLM policy 下,General 从 73.4 降到 46.9。它支持“多个执行模型下仍能优化整体分”,不支持“同一程序可无损迁移”或“每个领域都提高”。

展开 Table 3:更换执行模型后重新演化的完整结果
Table 3 原表:更换执行模型后重新演化的三组分领域与总体分数
Table 3 原表。表中每组都以该 policy 的 CodeAct 起点重新演化,并非把同一份已冻结代码直接搬到其他模型。 Huang et al., v2,PDF 第 11 页 · CC BY 4.0。本站仅裁去页边留白,保留原英文标签和数值。

5. Discussion:下一步应控制什么

先增加独立重复,并把代码异常、真实失败和版本选择失败分开。最直接的对照是自动保存并最终选择最好开发版本:若收益来自少丢好版本,就不应解释成开发模型更会发现新算法。正式评测前的小范围运行应先检查候选能否启动,尤其是会影响所有任务的结束与检查逻辑。更大的结构修改应与局部提示词调节分别报告,而不是一次同时改多个模块。

当前题目由 12 个既有 harness 筛选,可能偏向它们能区分的题。新系统应在未参与构造的 harness 和更多执行模型上验证。公开代码固定为 889e4fc8b197f426b444dbf8de217ea15b596fd2;judge 或基础设施异常也会成为零分,复现时应同时统计异常率,避免把服务故障全解释成能力退化。

6. Conclusion:结论与复现边界

Evo-Bench 的主要贡献是把长时间开发中的具体失误变成可观察证据。固定执行模型与保存版本,比只公布一个最终分更适合研究自动实验。最强模型最终仍低于人工组合 harness,且每个开发模型仅一次主运行,不能把小分差当成稳定排名。它对搜索任务最有效;办公提高较小,也提醒我们加工具并不自动解决复杂产物检查。

其余 10 项原论文图表:按 PDF 页码直达

正文选用 Figures 1、2、3、6、11 与 Tables 2、3、6;其余原图表仍可在 v2 PDF 中完整查看。

主文:Figure 4 · 各开发模型预算使用、Figure 5 · 开发费用与最终分、Figure 7 · 预算消融;Table 1 · 题目筛选统计。

附录:Figure 8 · 最小 CodeAct 执行循环、Figure 9 · 任务难度与敏感度、Figure 10 · 辅助题分布;Table 4 · 开发 harness 组件、Table 5 · 模型配置、Table 7 · 判分接口。

主要来源:arXiv v2,Table 1、Table 2、Appendix A、C、D;官方固定仓库的 benchmark/suites/evobench_validation.json、evobench/evaluation/scorer.py 与 metrics.py。最早日期仍取 v1。APEX 失败例与主表加权平均为本文规则推导和复算,不是新模型运行。

留言

留言正在载入…

搜文章