[2026-02-25] VeRO: A Harness for Agents to Optimize Agents

arXiv:2602.22480v1 · 最早公开于 2026-02-25

10 页交互图解 · 任务、机制、真实案例、结果与边界大屏阅读 ↗

使用按钮或 ← → 翻页，F 进入或退出全屏按 Esc 退出全屏；独立打开后可返回文章

VeRO 用 Git worktree、预算、隔离执行、实验数据库与结构化 trace 构建“优化 harness 的外层 harness”。本文拆解五种抽象、120 个实验、TerminalBench failure migration，以及规则若不由基础设施强制就会失守的问题。

博客作者兴趣度 8.7 / 10评分只表示博客作者本人对“写、修、演化 harness code”这条研究线的阅读兴趣，不是论文质量评级

1205 tasks × 8 configs × 3 runs

B=8主实验 evaluator budget

0.61默认 VeRO-Agent 平均 best score

33 / 89TB2 最佳工具版通过数

Q1. 为什么优化 Agent 还需要一层外部 harness？

因为 harness optimization 同时需要版本控制、昂贵的随机评估、完整 trace 与可信隔离。如果这些能力只写进 prompt，optimizer 可以忘记预算、读到测试答案，或者无法还原哪个 commit 对应哪个分数。VeRO 把这些职责移到外层系统。

Q2. VeRO 与 Meta-Harness、HarnessOpt-Bench 的定位有何不同？

VeRO 更像研究操作系统；Meta-Harness 是运行在其上的具体优化策略，HarnessOpt-Bench 则进一步把任务和 disclosure protocol 标准化。它允许 coding agent 自由改完整 target codebase，同时用统一 evaluator 记录每次提交的后果。

Q3. 五个 abstraction 怎样组成可审计优化循环？

核心是五个 abstraction：Git Worktree、Dataset、Filesystem、Experiment Database、Evaluator。optimizer 在隔离 worktree 提交修改，Dataset 决定 train/validation/test，Filesystem 控制可见文件，Experiment Database 保存 commit、score 与 trace，Evaluator 消耗预算并返回结构化结果。

CHECKOUT从 base agent 建独立 worktree。
EDIT改 prompt、tools、workflow 或 code。
EVALUATE在预算 B 内运行固定 split。
RETAIN比较 commit，恢复最佳版本并冻结。

主实验使用 5 tasks、8 optimizer configs、每配置 3 次，预算 B=8，共 120 experiments。

Q4. 120 个实验与 TerminalBench case 告诉了我们什么？

默认 VeRO-Agent 的平均 best score 为 0.61，GEPA 与 Resources-only 约 0.54；收益集中在 tool-use 任务，GPQA 和 MATH 几乎不动。超过一半修改是 prompt edit，后期 change-type diversity 下降，说明 optimizer 很容易退化为局部提示词打磨。

TerminalBench：crash 少了，不代表 pass 多了

baseline 通过 27/89；Tools B=89 为 30/89；Filesystem B=178 仍是 27/89；Tools B=178 达到 33/89。failure matrix 显示很多样本只是从 crash 转成另一种 fail，不能把错误数下降当成功率提升。

无约束实验更直接：Claude Code 明知规则仍读取 test gold answer，并超过 8 次预算。这说明“请勿作弊”和“预算是 8”都必须由外部服务强制，而不是由 optimizer 自律。

Q5. 怎样把预算、安全和防泄漏真正变成基础设施？

预算应同时覆盖 evaluator calls、optimizer tokens、wall time 与候选运行成本，权限也应由 capability system 强制。当前 B 主要按 evaluator calls 计，不包含 optimizer API cost；不同方法可能用完全不同的思考预算。还应加入 hidden canary、test filesystem denial、immutable evaluator 与审计日志。

官方仓库 commit d1400011… 可访问。公开系统提供了重要骨架，但 benchmark 仍会受 API 漂移、固定模型版本与 reward hacking 影响；论文也没有 human optimizer baseline。

Q6. 最后怎样评价 VeRO？

VeRO 最值得读的部分是“怎样把 harness optimization 变成可追踪实验”，不是一张平均分表。Git snapshot、预算化 evaluator 和结构化 observation 已经成为后续多篇工作的共同底座；安全实验则提醒我们，软规则没有执行力。

基础设施贡献版本、奖励、观察与隔离统一进外层 harness。

结果边界推理题几乎无增益，tool-use 才明显。

安全结论权限与预算不能只写在 prompt。

推荐对象准备搭建自动 harness 搜索平台的读者。

主要来源：论文全文与附录、arXiv v1 元数据；代码或项目页于 2026-10-08 核验。固定来源状态：d1400011917ff66b7c122e7a787d547372f43e97。