01 · OVERVIEWarXiv:2608.09096 · 2026-08-10

Evo-Bench:48 小时内,模型能把运行程序改好并保住吗?

固定 DeepSeek-V4-Flash 做题;九个开发模型修改同一套只会调用 shell 的最简执行程序(CodeAct),最多请求 20 次正式评测。

20 / 1,000 / 48h评测次数 / 开发操作上限 / 实际时限
160 / 448验证 / 最终测试任务
29.7→46.3GPT-5.6 Sol,综合分(Overall)
>$500仅外层模型费用
v2§3–4与Table21 / 10
02 · ACTORSarXiv:2608.09096 · 2026-08-10

先分清谁写、谁执行、谁给分

开发模型(evolver)

读开发集成绩与失败记录,修改执行代码。

执行模型

固定 DeepSeek-V4-Flash,用候选代码做题;论文称 policy model。

上游评分器

按来源检查答案或产物;逐项评分要求叫 rubric。

自动评分模型

Qwen 只参与需要模型判断的题,不负责开发候选代码。

v2各角色与scorer2 / 10
03 · MOTIVATIONarXiv:2608.09096 · 2026-08-10

为什么保存每次修改?好版本会在搜索中丢失

I10 · 第 10 次评测49.7找到最佳版本

这是 Qwen3.6-27B 在 160 道开发题上的最高验证分。

I15 · 第 15 次评测0.3候选检查代码崩溃

159 / 160 道题异常,修改过程把原有成果破坏了。

I18 · 最终冻结45.4修复后仍低于最佳

开发模型没有恢复 I10 的代码,剩余两次评测额度也未使用。

三个数都来自同一组开发验证题。只报最高分会漏掉版本选择失败;只报最终版会漏掉曾经找到的改进。

v2 Appendix D、Figure 11、Table 6;Qwen3.6-27B 开发验证分3 / 10
04 · RELATEDarXiv:2608.09096 · 2026-08-10

三个 benchmark 各自控制什么、观察什么?

HarnessOpt-Bench

控制条件

开发者能看到的任务、反馈和预算

主要观察

不同开发系统如何修改不同执行系统

HarnessDev

控制条件

从弱初始系统创建,再继续修改

主要观察

系统换一个执行模型后表现如何

Evo-Bench

控制条件

固定 DeepSeek 执行模型,延长开发时间

主要观察

逐轮代码、反馈、版本选择与冻结后的成绩

三者的任务、可见反馈和执行系统并不相同;原始分数不能直接排成同一张榜。

v2 Related Work;按开发条件与评估对象整理4 / 10
05 · MECHANISMarXiv:2608.09096 · 2026-08-10

一次评测先冻结代码快照,异步运行,再返回反馈

01改 harness

开发模型修改允许的运行代码,不改执行模型参数。

02run_train_eval

服务复制完整代码快照,启动验证评测。

03异步运行

评测旧快照时可以继续研究;同一时间只有一项活动评测。

04await_eval

读取分数、失败记录与 rubric 反馈。

05再修改

最多 20 轮、1,000 次决策和 48 小时。

06最终冻结

提交版本在 448 个隐藏任务上测试。

构建阶段另用 12 个辅助 harness 筛出对程序改动敏感的任务;不是这次搜索的 12 个候选。开发模型可查验证答案和评分细则,执行模型看不到。

v2执行协议;官方异步API,机制重绘5 / 10
06 · BOUNDARYarXiv:2608.09096 · 2026-08-10

Overall:搜索、办公、通用按 2:2:1 加权

Search

BrowseComp 与 HLE 等任务,按来源评分;多模态题排除。

Office

GDPVal 是连续分;APEX 要全部 rubric 通过才计任务成功。

General

Claw-Eval 用 Pass³:同一任务三次都通过才成功。

GPT: (2×44.5 + 2×41.6 + 59.4) / 5 = 46.32 ≈ 46.3

不是三个域简单平均,也不是 448 题全部直接混合。验证每来源 32 题共 160;最终按 128/128/64/64/64 分布。

官方DOMAIN_WEIGHTS与v2评分;本文重算46.326 / 10
07 · CASEarXiv:2608.09096 · 2026-08-10

真实办公任务:修改 Elastic 杠杆收购模型,收益仍低于目标

1
任务来源

官方 APEX:InvestmentBankingWorld 224;Elastic NV 的杠杆收购表。

2
要求

第一年及以后订阅/服务成本比例 +1 个百分点,写入新 worksheet。

3
公开目标数

净债务 717.44M,股权 26,068.66M;M 为百万美元。内部收益率 IRR 为 18.25%,低于 20%目标。

4
怎样判分

读取 world 产出的 grades.json / final_score;3 项 rubric 全过才计任务成功。

2/3 rubric 只表示部分正确,仍是失败任务。数据与目标来自官方 task;本文未重跑完整 world,也没有声称展示某个模型的评分日志。

官方taskapex-2299b89dcaf64a4da4f3d03f8aac7215;未重跑7 / 10
08 · RESULTSarXiv:2608.09096 · 2026-08-10

开发验证分与最终隐藏测试分,必须分开读

最终隐藏测试 · 448 题

同一 DeepSeek policy 下,CodeAct 起点 29.7,GPT-5.6 Sol 冻结版 46.3,人工组合 harness 47.5。

这是 Table 2 的最终综合分。

开发验证轨迹 · 160 题

开发模型最佳验证分冻结版验证分
Qwen3.6-27B49.7 · I1045.4 · I18
DeepSeek-V4-Pro46.5 · I342.6 · I15
Kimi-K2.7-Code45.9 · I1345.9 · 恢复 I13

Qwen 在 I15 的候选检查代码让 159/160 题崩溃,验证分降到 0.3;后来修复,但没有恢复 I10 的最好版本。两组分数来自不同题集,不能横向相减。

v2 Table 2 为隐藏测试;Figure 11、Table 6 为验证轨迹8 / 10
09 · EVIDENCEarXiv:2608.09096 · 2026-08-10

证据支持什么,又没有支持什么?

可以保留的结论

  • 最强开发模型能显著改进最小 CodeAct。
  • 搜索任务比办公任务获得更大改进。
  • 版本管理是长期优化的独立能力。

仍然缺的证据

  • 每个开发模型只有一次主运行。
  • 任务由 12 个辅助 harness 筛选,存在选择偏差。
  • 开发费用不含执行模型和评分模型费用。
v2limitations;预算不含内层与judge9 / 10
10 · TAKEAWAYSarXiv:2608.09096 · 2026-08-10

下一步:检验版本选择、异常率和跨模型稳定性

01 · 版本选择49.7 → 45.4

最佳版本没有被提交

Qwen 最佳与冻结版的开发验证分相差 4.3。

本文建议的对照
保存每轮代码,再比较最终提交与最佳验证快照。

02 · 程序异常159 / 160

一次修改使大多数题崩溃

候选检查器在 I15 出错,验证分掉到 0.3。

本文建议的对照
正式评测前做启动检查,单列程序异常与评分器故障。

03 · 跨模型稳定性73.4 → 46.9

总体改善不保证每个领域提高

GLM policy 下,Qwen 重新演化后的 General 下降。

本文建议的对照
增加独立重复,并测试未参与筛选的任务与执行模型。

每个开发模型只有一次主搜索。上面三项是后续实验设计,尚未由论文验证。

v2 Figure 11、Table 3、Appendix D;后续对照为本文建议10 / 10