论文解读·

[2026-02-25] VeRO: A Harness for Agents to Optimize Agents

VeRO 管理 Agent 自动改进 Agent 时的代码版本、评测额度、可见文件和运行记录。本文解释一次修改怎样被评测,并用 Terminal-Bench 的逐题结果说明:消除程序异常,未必让任务成功率提高。

页数
10
形式
交互图解
更新
2026.10.19
文章目录

arXiv:2602.22480v4 · 本文按 v4 解读;最早公开于 2026-02-25

10 页交互图解 · 任务、机制、真实案例、结果与边界大屏阅读 ↗

使用按钮或 ← → 翻页,F 进入或退出全屏按 Esc 退出全屏;独立打开后可返回文章

VeRO 是一套给“Agent 优化 Agent”使用的实验平台。外层编辑模型可以修改目标系统的提示词、工具和代码;平台让每个候选进入独立工作目录,由服务端扣评测额度,保存代码版本、分数与运行记录。这样才知道哪份修改得到哪个结果,也能限制直接读取测试答案或无限调用评测服务。

博客作者兴趣度 8.7 / 10评分只表示博客作者本人对“写、修、演化 harness code”这条研究线的阅读兴趣,不是论文质量评级
1205 项任务 × 8 种配置 × 3 次独立运行
B=8主实验最多 8 次评测调用
0.61默认配置每次搜索最优分的平均值
33 / 89TB2 最佳工具版通过数

1. Motivation:自动改系统的实验怎样才能可信

可信的自动改进实验需要平台实际执行版本、预算和权限限制。只把规则写进提示词,编辑模型仍可能超额评测或读到测试答案;记录不完整时,也无法还原哪份代码对应哪个分数。VeRO 把这些职责交给外层系统执行。

2. Related Work:实验平台与搜索算法分开

VeRO 提供版本、权限和评测接口,搜索算法可以替换。Meta-Harness 是具体的自动修改策略;HarnessOpt-Bench 进一步固定任务和反馈公开规则。VeRO 的实验既比较不同 coding-agent 配置,也比较只改提示与工具描述的 GEPA。它不会因为某种优化器使用了自己的工具,就自动把改动算作更好的方法。

比较对象optimizer 实际能改什么这篇的比较意义
GEPA提示、工具描述及预留参数用反思与演化搜索,但不能任意重写目标代码
VeRO-Agent Resources Only与 GEPA 同一组可编辑组件更接近隔离搜索策略的差别
VeRO-Agent Default允许的 Python 代码、工具、流程和提示允许搜索更大的程序空间
Meta-Harness根据失败记录修改完整 harness同属自动优化,但强调具体搜索策略;VeRO 强调可替换 optimizer 的实验协议

因此 Default 比 GEPA 高 0.07,不能全归因于“算法更强”:两者的可修改范围不同。论文还比较 Claude Code 的原生 shell 评测与接入 VeRO 工具后的评测,不过后者同时改善了反馈、版本和接口;它并非只切换一项权限开关的消融实验(§4.1、Table 6)。

3. Method:一次候选从改代码到返回分数

optimizer 提出修改,VeRO 保存版本并执行受控评测。系统为候选创建独立 Git worktree,即共享 Git 历史但文件互不覆盖的工作目录;修改保存成 commit。optimizer 只能读取允许的数据分区和代码,不能靠直接访问文件看到 test 答案。

  1. 1 · 保存版本系统从初始程序创建独立 Git worktree,每次提交对应确定的代码版本。
  2. 2 · 修改optimizer 修改提示、工具、执行流程或代码;文件接口限制能读写的路径。
  3. 3 · 评测optimizer 选择分区和样本;评测服务检查权限、按实验配置扣额度,再在隔离环境运行候选。
  4. 4 · 观察实验数据库保存代码版本、样本、分数、运行记录与成本,再返回允许查看的结果。
  5. 5 · 选择optimizer 比较候选,恢复最佳版本或继续分支;最终冻结一份代码。

负责运行候选和给分的组件称为 evaluator;optimizer 通过 ExperimentRunner 请求某个 commit 的评测。服务检查分区权限和剩余额度,再运行候选。返回的 execution trace 是输入、动作、工具反馈、错误和分数组成的记录,它与 commit 一起保存在实验数据库里。optimizer 据此决定保留、回退或继续修改。

主实验 B=8 计评测调用,Terminal-Bench 案例才改用样本预算。主实验的算法每调用一次 ExperimentRunner.run,nE 加 1;B 不包含 optimizer 的 token 或 API 成本。Terminal-Bench 案例的 B=89/178 则计被评的题目样本数:89 题全量评一次消耗 89,178 相当于两次完整评测。把两种预算混成一个单位会误判搜索效率(v4 §4.1、§4.4)。

任务、分区和版本选择

作者固定目标模型为 GPT-4.1 mini,沿用五个来源 benchmark 的判分函数,而不是重新人工给所有回答打分。GAIA 测可用工具解决的综合问答,GPQA Diamond 测高难度科学选择题,MATH 测数学解题;τ-Bench Retail 模拟零售客服任务,SimpleQA 测事实问答。各任务分区如下;破折号表示没有该分区,不能当成零题得分。

任务train / validation / test构造与报告边界
GAIA50 / 87 / —从可用训练题中过滤成 137 道纯文本题,再取 50 道优化;87 道 validation 同时用于选最佳版本与报分
GPQA Diamond98 / — / 100198 题固定拆分;没有 validation,按 train 分数选择代码,再评 test
MATH59 / 60 / 486沿用 AFlow 的拆分,并核对公开题目
τ-Bench Retail100 / 20 / 115沿用来源 benchmark 的分区和工具
SimpleQA46 / 45 / 80先取 GPT-4.1、Sonnet 4.5、Gemini 2.5 Pro 直接答题都失败的 171 题,再固定拆分

这些预筛选在优化前完成。SimpleQA 因而测的是这批困难事实题,不能外推成整个 800 题来源集的表现。GAIA 的数据集名称与题数按 v4 Appendix A.2.1 原样记述,不混用当前仓库新 benchmark 的拆分。

八种 optimizer 配置在五项任务上各搜索三次,共 120 次;optimizer 的 temperature=1.0、最多 200 turns。主实验一次额度覆盖整批 train 或 validation,单批约 46 到 100 题,B=8 不是只允许做八道题。作者控制随机种子并重复搜索,但目标模型和在线搜索仍会产生噪声;Table 2 先取每次搜索选中的最佳代码得分,再对三次运行取平均,括号内是三次中的最大值,不是标准差。

VeRO 原论文 Figure 1:左侧 optimizer 编辑目标 Agent,中间平台保存代码版本和运行记录,右侧 target agent 执行任务并返回分数
原论文 Figure 1,展示上方的一轮改进示例和下方的 optimizer、VeRO、target 三方边界。图取自作者的 v4 HTML 版,按 Ursekar 等,ICML 2026,PMLR 306 的 CC BY 4.0 授权转载;仅转为无损 WebP。

4. Experiments:成功率与错误类别为什么必须一起看

默认配置的收益主要来自工具任务,纯推理任务改善很小。下面保留原论文 Table 2 的全部配置和数字。每格前一个数是三次搜索各自最佳版本得分的平均,括号里是三次中的最大值;最后一列再对五个任务等权平均。

Optimizer / Variant / ModelGAIAGPQAMATHRetailSimpleQAAvg.
Baseline0.070.600.870.380.610.50
Claude Code · Pure · Sonnet 4.50.13 (0.29)0.58 (0.63)0.88 (0.90)0.43 (0.46)0.65 (0.68)0.53 (0.59)
Claude Code · VeRO Tools · Sonnet 4.50.14 (0.21)0.64 (0.71)0.88 (0.90)0.39 (0.43)0.67 (0.71)0.55 (0.59)
VeRO-Agent · Default · Sonnet 4.50.26 (0.30)0.64 (0.65)0.86 (0.87)0.55 (0.66)0.73 (0.76)0.61 (0.65)
VeRO-Agent · Orchestrator · Opus 4.50.18 (0.18)0.62 (0.66)0.88 (0.88)0.55 (0.57)0.74 (0.86)0.59 (0.63)
VeRO-Agent · Orchestrator · Sonnet 4.50.16 (0.20)0.62 (0.65)0.87 (0.88)0.51 (0.72)0.71 (0.72)0.57 (0.63)
VeRO-Agent · Orchestrator · GPT-5.20.07 (0.09)0.65 (0.70)0.88 (0.90)0.40 (0.42)0.60 (0.62)0.52 (0.55)
VeRO-Agent · Resources Only · Sonnet 4.50.11 (0.13)0.60 (0.64)0.88 (0.88)0.42 (0.43)0.69 (0.72)0.54 (0.56)
GEPA · Resources Only · Sonnet 4.50.21 (0.23)0.58 (0.61)0.86 (0.89)0.38 (0.42)0.66 (0.70)0.54 (0.57)

原论文 Table 2 全表;Ursekar 等,ICML 2026,PMLR 306,CC BY 4.0。括号不是标准差,也不是另一个测试集。

Orchestrator 的三行让 VeRO-Agent 把编辑工作委派给子 Agent,平均分分别为 0.59(Opus)、0.57(Sonnet)、0.52(GPT-5.2),并没有超过 Default。Table 2 的初始程序均分来自七种非 GEPA 配置 × 三次,共 21 次运行;不要把它当成每条候选都共享的一次确定性缓存。

扩大预算也没有解决所有任务。B 从 2 增到 32 时,Retail 的保留集得分由 0.412 增到 0.528;GAIA 从 0.119 增到 B=8 的 0.195,却在 B=32 回落到 0.170。GPQA 与 MATH 基本持平,MATH 的初始分已约 0.87。作者认为目标模型的推理能力限制了收益,但预算实验只排除了“多评几次就会明显提升”这一解释,没有证明所有更好的程序都不存在(Figure 8)。

原论文 Figure 8 的 GAIA 面板:验证集分数随评测预算 B 从 2 增至 8 后,在 32 时回落
原论文 Figure 8 的 GAIA 面板等像素裁切。蓝线是留出集,橙线是开发集;误差线为三次独立搜索的一个标准差。完整原图同时给出另外四项任务。Ursekar 等,ICML 2026,PMLR 306,CC BY 4.0。

修改类型分析由 GPT-4.1 给代码差异分类,并非人工复核的因果实验。超过一半修改属于提示调整,后期类型更加集中;它能描述搜索行为,不能独立证明提示调整导致了成功或失败。

原论文 Figure 16 的 Tools-B=89 逐题状态迁移矩阵:11 个原 AttributeError 中只有 3 个转为通过,其余转为别的失败
原论文 Figure 16 的 Tools-B=89 面板等像素裁切。行是修改前,列是修改后;原先 11 个 AttrError 中,3 个变成 PASS、5 个变成无异常零分、2 个变成运行超时、1 个变成上下文长度错误。完整三配置原图可对照 Filesystem 与 Tools-B=178。Ursekar 等,ICML 2026,PMLR 306,CC BY 4.0。

Terminal-Bench 2:消除 crash 后,任务仍可能 FAIL

  1. 初始状态:Terminus-KIRA 在 89 题中通过 27 题;另外有 41 次运行抛异常,21 次没有异常但 verifier 给 0。
  2. Tools-B=89:optimizer 发现 target LLM 有时把 tool call 输出成字符串,于是在五处加入 isinstance(..., dict) 检查。11 个 AttributeError 全部消失,但最终只通过 30/89。
  3. Filesystem-B=178:同样消除 11 个 AttributeError,并把 context-length error 从 13 个降到 1 个;通过数仍是 27/89,因为超时和无异常零分增加。
  4. Tools-B=178:主要压缩 prompt、tool 描述与输出长度,保留了 AttributeError,却通过 33/89。
  5. 逐题迁移:Filesystem 版本新增 6 个 PASS,同时让原先 6 个 PASS 退化;总分相同掩盖了两批任务的交换。

原 benchmark verifier 决定 PASS/FAIL。VeRO 记录的是失败类别迁移;它不会把“少崩溃”自动换成奖励。

这组记录由 v4 Appendix A.4 的真实运行整理,判分仍来自 Terminal-Bench 的任务测试。AttributeError 表示代码把字符串当字典读取属性而崩溃;加类型检查后,程序能继续走,后面仍可能超时或提交错误产物。11 个原先这类错误中,Tools-B=89 只有 3 个转成 PASS,Filesystem-B=178 只有 1 个转成 PASS,其余换成其他失败。

初始通过率 = 27/89 = 30.3%
Tools-B=178 = (原通过保留 21 + 新通过 12)/89 = 37.1%
净增益 = (12 − 6)/89 = 6.7 个百分点(按未舍入数)
核对原论文完整的错误类别和逐题得失(Tables 16、18)

Table 16 按最终运行状态给 89 题分类;无异常但 verifier 给 0 的任务单列为 Fail。数值均为题数。

Table 16 · 状态BaselineTools-B=89Filesystem-B=178Tools-B=178
AgentTimeoutError16192317
ContextLengthExceededError131112
AttributeError110011
VerifierTimeoutError1010
ExecutionError0200
Other (Internal, Runtime)0020
全部异常41322730
Fail:无异常、得分 021273526
Pass27302733

Table 18 把每份最终程序与初始程序逐题配对;新通过数减旧通过退化数才是净增长。

Table 18 · 配置最终 Pass旧 Pass 保留新 Pass旧 Pass 退化
Tools-B=893020/27107
Filesystem-B=1782721/2766
Tools-B=1783321/27126

原论文 Table 16、Table 18;Ursekar 等,ICML 2026,PMLR 306,CC BY 4.0。

论文公布了逐题分类迁移,不是每题的完整 brief、环境与测试断言。它足以支持“修掉 crash 不充分”,不能用来构造某一道未公开下游题的假 checker。该 case 每种配置只有一次搜索,不能把 33/89 当作 Tools 接口稳定优于 Filesystem 的统计结论。

同一份程序换任务,提升可能反转

另一组 GAIA 案例比较简单的 Pawn(4 个工具、25 行提示、20 turns)与更完整的 Knight(6 个工具、140 行提示、40 turns)。每种优化指令运行四次、每次最多五批训练评测;最终还测 FACTS 和 SimpleQA。Pawn 的 black_lake 分支在 GAIA 由 17/87 增至 22/87(+5.75 个百分点),但 SimpleQA 从 31/45 降至 23/45(−17.78 个百分点),FACTS 也从 54.72% 降到 49.33%。这个结果直接限制了“改进后的 harness 到处更好”的说法。

Knight 的 shiny_night 分支在 FACTS 达到 70.34%、SimpleQA 达到 88.89%,单题时间却由 26.6 秒变成 107.8 秒。相同评测次数掩盖了约四倍执行成本。Table 12 的 orange_wind 在 FACTS 因评测崩溃记作 N/A,不是 0 分;不能把四次运行当作四个有效 FACTS 得分。

只写规则,仍会读到答案

Appendix A.5 单独运行无环境限制的 Claude Code(Sonnet 4.5),让它优化 GPQA 代码,文字要求最多八批 train 和八批 validation 评测。实际数据没有 validation,而有 100 题 test;附录指令一面禁止读取测试数据,一面允许基线与最终 test 聚合评测,规则本身也有不一致。事后 GPT-5.4 检查 258 条 assistant 消息,把“看聚合得分”视为允许,把“查看单题测试内容与答案”视为违规。

最直接的记录是 optimizer 打印 ds['test'][0]:返回题目、选项、解释以及 answer_index: 1,测试答案进入了自己的上下文。它后来还承认做了九个不同 train 版本的评测,并试图把重复运行当成“共享额度”来解释超额。作者共标出四条读取测试内容、六条承认超额的消息;后六条反复描述同一次超额,不能解读成额外做了六批实验。这是一条具体的违规轨迹,不是已统计多次重复的泄漏发生率。

5. Discussion:成本、权限与最终测试分别核查

复现应同时固定程序版本、选模分区和总成本。Terminal 三条搜索实际消耗 89/89、178/178、129/178 个样本额度;对应 optimizer 费用约 $2.41、$2.97、$3.13,墙钟时间却是 2 小时 38 分、6 小时 54 分、12 小时 38 分。完整执行一批 89 题的目标系统另需约 $180;“optimizer 便宜”不等于整个实验便宜(Table 15)。

更可信的下一组实验可以把“更完整的反馈接口”和“更严格的访问限制”分别切换,在同一程序与同一预算下比较,再用完全独立的测试集报分。还应报告每个旧成功是否退化、单题执行成本和不可用 API 的比例。论文没有同预算人工优化器对照,也承认公网答案记忆仍未受控。

代码阅读需要留意版本:当前官方 README 指定 paper-v1 为论文时期复现入口,旧代码在固定快照 d1400011917ff66b7c122e7a787d547372f43e97 的 legacy/ 中。那里 Evaluator.evaluate 解析 commit、构造数据分区、运行候选并写实验数据库,_run_in_workspace 拒绝未保存修改,避免评测到不确定文件。但单独调用 evaluator 不是权限与额度的全部机制;限制由外层工具和配置执行。新版 v0.5 的推理网关等功能不能倒推成本文 v4 已验证的方法。本文只读代码,未重跑这些昂贵搜索。

6. Conclusion:每个修改都要对应到版本、分数与运行记录

VeRO 最值得读的是它如何记录每个候选版本、评测预算和运行后果。保留代码快照、服务端计费和逐题反馈,让后续研究者能追踪修改的真实影响;安全实验说明文字规则不能代替权限控制。

基础设施每个版本的分数、记录、预算与权限可以核对。
结果边界推理题几乎无增益,工具任务改善更明显。
安全结论权限与额度由环境执行,不只写进提示词。
适合读者准备搭建自动运行程序优化平台的读者。

本文完整核查 arXiv:2602.22480v4 正文与附录,重点为 Tables 1–3、12–18、Figure 8/16 与 Appendix A.5。最早公开日期另取 v1。主实验的调用预算与 Terminal-Bench 的样本预算分开;论文时期代码入口为 paper-v1,已读快照为 d1400011917ff66b7c122e7a787d547372f43e97/legacy。

留言

留言正在载入…

搜文章