Evo-Bench:48 小时内,模型能把运行程序改好并保住吗?
固定 DeepSeek-V4-Flash 做题;九个开发模型修改同一套只会调用 shell 的最简执行程序(CodeAct),最多请求 20 次正式评测。
先分清谁写、谁执行、谁给分
开发模型(evolver)
读开发集成绩与失败记录,修改执行代码。
执行模型
固定 DeepSeek-V4-Flash,用候选代码做题;论文称 policy model。
上游评分器
按来源检查答案或产物;逐项评分要求叫 rubric。
自动评分模型
Qwen 只参与需要模型判断的题,不负责开发候选代码。
为什么保存每次修改?好版本会在搜索中丢失
这是 Qwen3.6-27B 在 160 道开发题上的最高验证分。
159 / 160 道题异常,修改过程把原有成果破坏了。
开发模型没有恢复 I10 的代码,剩余两次评测额度也未使用。
三个数都来自同一组开发验证题。只报最高分会漏掉版本选择失败;只报最终版会漏掉曾经找到的改进。
三个 benchmark 各自控制什么、观察什么?
HarnessOpt-Bench
开发者能看到的任务、反馈和预算
不同开发系统如何修改不同执行系统
HarnessDev
从弱初始系统创建,再继续修改
系统换一个执行模型后表现如何
Evo-Bench
固定 DeepSeek 执行模型,延长开发时间
逐轮代码、反馈、版本选择与冻结后的成绩
三者的任务、可见反馈和执行系统并不相同;原始分数不能直接排成同一张榜。
一次评测先冻结代码快照,异步运行,再返回反馈
开发模型修改允许的运行代码,不改执行模型参数。
服务复制完整代码快照,启动验证评测。
评测旧快照时可以继续研究;同一时间只有一项活动评测。
读取分数、失败记录与 rubric 反馈。
最多 20 轮、1,000 次决策和 48 小时。
提交版本在 448 个隐藏任务上测试。
构建阶段另用 12 个辅助 harness 筛出对程序改动敏感的任务;不是这次搜索的 12 个候选。开发模型可查验证答案和评分细则,执行模型看不到。
Overall:搜索、办公、通用按 2:2:1 加权
Search
BrowseComp 与 HLE 等任务,按来源评分;多模态题排除。
Office
GDPVal 是连续分;APEX 要全部 rubric 通过才计任务成功。
General
Claw-Eval 用 Pass³:同一任务三次都通过才成功。
不是三个域简单平均,也不是 448 题全部直接混合。验证每来源 32 题共 160;最终按 128/128/64/64/64 分布。
真实办公任务:修改 Elastic 杠杆收购模型,收益仍低于目标
官方 APEX:InvestmentBankingWorld 224;Elastic NV 的杠杆收购表。
第一年及以后订阅/服务成本比例 +1 个百分点,写入新 worksheet。
净债务 717.44M,股权 26,068.66M;M 为百万美元。内部收益率 IRR 为 18.25%,低于 20%目标。
读取 world 产出的 grades.json / final_score;3 项 rubric 全过才计任务成功。
2/3 rubric 只表示部分正确,仍是失败任务。数据与目标来自官方 task;本文未重跑完整 world,也没有声称展示某个模型的评分日志。
开发验证分与最终隐藏测试分,必须分开读
最终隐藏测试 · 448 题
同一 DeepSeek policy 下,CodeAct 起点 29.7,GPT-5.6 Sol 冻结版 46.3,人工组合 harness 47.5。
这是 Table 2 的最终综合分。
开发验证轨迹 · 160 题
| 开发模型 | 最佳验证分 | 冻结版验证分 |
|---|---|---|
| Qwen3.6-27B | 49.7 · I10 | 45.4 · I18 |
| DeepSeek-V4-Pro | 46.5 · I3 | 42.6 · I15 |
| Kimi-K2.7-Code | 45.9 · I13 | 45.9 · 恢复 I13 |
Qwen 在 I15 的候选检查代码让 159/160 题崩溃,验证分降到 0.3;后来修复,但没有恢复 I10 的最好版本。两组分数来自不同题集,不能横向相减。
证据支持什么,又没有支持什么?
可以保留的结论
- 最强开发模型能显著改进最小 CodeAct。
- 搜索任务比办公任务获得更大改进。
- 版本管理是长期优化的独立能力。
仍然缺的证据
- 每个开发模型只有一次主运行。
- 任务由 12 个辅助 harness 筛选,存在选择偏差。
- 开发费用不含执行模型和评分模型费用。
下一步:检验版本选择、异常率和跨模型稳定性
最佳版本没有被提交
Qwen 最佳与冻结版的开发验证分相差 4.3。
本文建议的对照
保存每轮代码,再比较最终提交与最佳验证快照。
一次修改使大多数题崩溃
候选检查器在 I15 出错,验证分掉到 0.3。
本文建议的对照
正式评测前做启动检查,单列程序异常与评分器故障。
总体改善不保证每个领域提高
GLM policy 下,Qwen 重新演化后的 General 下降。
本文建议的对照
增加独立重复,并测试未参与筛选的任务与执行模型。
每个开发模型只有一次主搜索。上面三项是后续实验设计,尚未由论文验证。