01 · OVERVIEWarXiv:2602.22480 · 2026-02-25

VeRO:让自动修改 Agent 变成可追踪实验

外层改程序,内层做题;平台固定权限、版本、评测额度与日志,不规定一种搜索算法。

120五项任务×八种配置×三次运行
0.61平均最优分数
27→33 / 89Terminal-Bench 通过数
B=8主实验:评测调用数

Terminal-Bench 扩展实验的 B=89/178 改按样本扣款:跑完整 89 题消耗 89 样本,不是 1 次调用。

v4§4;Table1/2/41 / 10
02 · ACTORSarXiv:2602.22480 · 2026-02-25

先分清谁写、谁执行、谁给分

编辑模型

修改做题系统,再决定测哪个候选

VeRO 平台

隔离候选目录、控制文件权限与评测额度、保存记录

做题系统

在固定任务上执行候选程序

评测服务

运行指定任务并写回分数、动作和异常记录

v4§3基础设施2 / 10
03 · MOTIVATIONarXiv:2602.22480 · 2026-02-25

这篇具体补了哪个空缺?

只写在 prompt

编辑模型可能超额评测、读取测试答案或丢失好版本。

VeRO

由文件权限和服务端扣账实际执行约束。

研究重点

优化过程是否可复现,而非只看最终平均分。

Introduction3 / 10
04 · RELATEDarXiv:2602.22480 · 2026-02-25

相邻工作改的对象不同,分数不能混着比

工作修改对象反馈或判分
Meta-Harness具体搜索策略运行在外层实验系统上
HarnessOpt-Bench标准化任务与披露用于横向比较
VeRO实验基础设施版本、权限、额度与运行记录
RelatedWork;本文比较4 / 10
05 · MECHANISMarXiv:2602.22480 · 2026-02-25

候选版本 → 权限检查 → 评测 → 结构化反馈

01隔离版本

独立 Git worktree,保留每个候选的源码版本。

02编辑

optimizer 改允许的提示、工具或代码。

03评测与扣款

主实验按调用;Terminal 扩展按任务样本。

04写回记录

保存 commit、分数、逐题结果和运行异常。

05继续比较

optimizer 选择保留、回滚或提出下一修改。

06固定结果

提交最佳版本,原任务 checker 给最终分。

减少异常只是观察结果;平台不把“没报错”自动换成任务成功。

v4§3–4,运行流程重绘5 / 10
06 · BOUNDARYarXiv:2602.22480 · 2026-02-25

代码修改与评分权限必须分开

编辑模型可用

  • 允许的数据分区与运行记录
  • 候选源码和版本历史
  • 当前配置的剩余评测额度
  • train/validation 聚合结果

环境应限制

  • 直接读取测试题与答案
  • 修改固定评分程序
  • 未获允许的文件路径
  • 超过额度的评测调用

原 benchmark 判分。GAIA 的 validation 同时选版本与报分;公网答案记忆仍未受控,权限机制不是全面防泄漏证明。

v4§3;A.2.1、A.5–66 / 10
07 · CASEarXiv:2602.22480 · 2026-02-25

真实 Terminal 记录:少 11 个异常,未必多 11 个 PASS

1
原版本

89 题:27 PASS,41 异常,21 无异常但零分。

2
Tools,B=89 样本

检查 tool-call 是否为 dict,AttributeError 11→0;通过 30/89。

3
Filesystem,B=178

异常减少,通过仍 27/89;新增 6 个成功,也退化 6 个旧成功。

4
Tools,B=178

主要压缩上下文,仍有 AttributeError,却通过 33/89。

Tools 最佳:(保留 21 + 新通过 12)/89 = 37.1%
净增益:(12 − 6)/89 ≈ 6.7 个百分点
v4AppendixA.4;Table18公开分类7 / 10
08 · RESULTSarXiv:2602.22480 · 2026-02-25

工具任务改善较多,MATH 几乎不变

配置GAIAGPQAMATHRetailSimpleQA均分
初始程序.07.60.87.38.61.50
Claude Code.13.58.88.43.65.53
+ VeRO Tools.14.64.88.39.67.55
VeRO-Agent Default.26.64.86.55.73.61
Resources Only.11.60.88.42.69.54
GEPA.21.58.86.38.66.54

各配置三次搜索的最佳版本得分均值;括号最大值未展示。GAIA 用 validation 报分,GPQA 按 train 选版本。B=8 批评测,不是八道题。

v4主结果及Table18,不同预算单位8 / 10
09 · EVIDENCEarXiv:2602.22480 · 2026-02-25

证据支持什么,又没有支持什么?

可以保留的结论

  • 工具任务改善较多,纯推理任务收益较少。
  • 不同运行找到完全不同的修复。
  • 外部权限能阻止 prompt 规则失守。

仍然缺的证据

  • optimizer token/API 成本未纳入同一预算。
  • 没有同预算人工优化器对照。
  • API 与 benchmark 版本漂移会改变结果。
v4limitations9 / 10
10 · TAKEAWAYSarXiv:2602.22480 · 2026-02-25

追踪版本之外,还要追踪代价和退步

改掉异常 ≠ 做对题

11 个 AttributeError 消失,只有 3 个或 1 个任务转成 PASS。

同一版本可能反向迁移

Pawn 的 black_lake:GAIA +5.75pp,SimpleQA −17.78pp。

相同批数 ≠ 相同费用

Knight 的高分分支约耗四倍单题时间;公网答案和总成本仍需控制。

论文时期代码用 paper-v1;当前 v0.5 是重构版本。Terminal 每配置仅一次搜索,且同一批题参与优化与报告。

v4Tables12–18;博客作者兴趣度8.7/1010 / 10