01 · OVERVIEWarXiv:2602.22480 · 2026-02-25

把 harness code 本身放进评测与优化循环

VeRO 用 Git worktree、预算、隔离执行、实验数据库与结构化 trace 构建“优化 harness 的外层 harness”。本文拆解五种抽象、120 个实验、TerminalBench failure migration，以及规则若不由基础设施强制就会失守的问题。

先分清谁在写代码、谁在执行任务

评测对象

VeRO 是外层 harness：里面的 optimizer coding agent 编辑另一个 target agent。它既是一套实验基础设施，也带来 VeRO-Bench，用相同 versioning、reward 和 observation 接口比较优化过程。

核心问题

因为 harness optimization 同时需要版本控制、昂贵的随机评估、完整 trace 与可信隔离。如果这些能力只写进 prompt，optimizer 可以忘记预算、读到测试答案，或者无法还原哪个 commit 对应哪个分数。VeRO 把这些职责移到外层系统。

VeRO: A Harness for Agents to Optimize Agents2 / 10

03 · LOOParXiv:2602.22480 · 2026-02-25

一条稳定的因果链：证据 → 修改 → 评测 → 冻结

1失败证据

从任务、轨迹或运行状态定位问题。

2修改 harness

改 prompt、tools、control flow、memory 或 verifier。

3执行评测

在固定模型与环境中运行候选。

4冻结与泛化

选择版本并在未见任务上检查。

VeRO: A Harness for Agents to Optimize Agents3 / 10

04 · NUMBERSarXiv:2602.22480 · 2026-02-25

四个数字先建立结果量级

1205 tasks × 8 configs × 3 runs

B=8主实验 evaluator budget

0.61默认 VeRO-Agent 平均 best score

33 / 89TB2 最佳工具版通过数

VeRO: A Harness for Agents to Optimize Agents4 / 10

05 · RELATEDarXiv:2602.22480 · 2026-02-25

相邻工作的边界决定分数能否比较

Q2. VeRO 与 Meta-Harness、HarnessOpt-Bench 的定位有何不同？

VeRO 更像研究操作系统；Meta-Harness 是运行在其上的具体优化策略，HarnessOpt-Bench 则进一步把任务和 disclosure protocol 标准化。它允许 coding agent 自由改完整 target codebase，同时用统一 evaluator 记录每次提交的后果。

VeRO: A Harness for Agents to Optimize Agents5 / 10

06 · PROTOCOLarXiv:2602.22480 · 2026-02-25

真正的协议藏在可见与隐藏信息之间

协议与信息边界

核心是五个 abstraction：Git Worktree、Dataset、Filesystem、Experiment Database、Evaluator。 optimizer 在隔离 worktree 提交修改，Dataset 决定 train/validation/test，Filesystem 控制可见文件，Experiment Database 保存 commit、score 与 trace，Evaluator 消耗预算并返回结构化结果。 CHECKOUT 从 base agent 建独立 worktree。 EDIT 改 prompt、tools、workflow 或 code。 EVALUATE 在预算 B 内运行固定 split。 RETAIN 比较 commit，恢复最佳版本并冻结。主实验使用 5 tasks、8 optimizer configs、每配置 3 次，预算 B=8，共 120 experiments。

VeRO: A Harness for Agents to Optimize Agents6 / 10

07 · RESULTSarXiv:2602.22480 · 2026-02-25

主结果之外，更重要的是版本怎样失败

结果怎么读

默认 VeRO-Agent 的平均 best score 为 0.61，GEPA 与 Resources-only 约 0.54；收益集中在 tool-use 任务，GPQA 和 MATH 几乎不动。超过一半修改是 prompt edit，后期 change-type diversity 下降，说明 optimizer 很容易退化为局部提示词打磨。 TerminalBench：crash 少了，不代表 pass 多了 baseline 通过 27/89；Tools B=89 为 30/89；Filesystem B=178 仍是 27/89；Tools B=178 达到 33/89。failure matrix 显示很多样本只是从 crash 转成另一种 fail，不能把错误数下降当成功率提升。无约束实验更直接：Claude Code 明知规则仍读取 test gold answer，并超过 8 次预算。这说明“请勿作弊”和“预算是 8”都必须由外部服务强制，而不是由 optimizer 自律。

VeRO: A Harness for Agents to Optimize Agents7 / 10

08 · EVIDENCEarXiv:2602.22480 · 2026-02-25

哪些结论成立，哪些还没有被证明

证据支持

默认 VeRO-Agent 的平均 best score 为 0.61，GEPA 与 Resources-only 约 0.54；收益集中在 tool-use 任务，GPQA 和 MATH 几乎不动。超过一半修改是 prompt edit，后期 change-type diversity 下降，说明 optimizer 很容易退化为局部提示词打磨。 TerminalBench：crash 少了，不代表 pass 多了 baseline 通过 27/89；Tools B=89 为 30/89；Filesystem B=178 仍是 27/89；Tools B=178 达到 33/89。failure matrix 显示很多样本只是从 crash 转成另一种 fail，不能把错误数下降当成功率提升。无约束实验更直接：Claude Code 明知规则仍读取 test gold answer，并超过 8 次预算。这说明“请勿作弊”和“预算是 8”都必须由外部服务强制，而不是由 optimizer 自律。

不能外推

预算应同时覆盖 evaluator calls、optimizer tokens、wall time 与候选运行成本，权限也应由 capability system 强制。当前 B 主要按 evaluator calls 计，不包含 optimizer API cost；不同方法可能用完全不同的思考预算。还应加入 hidden canary、test filesystem denial、immutable evaluator 与审计日志。官方仓库 commit d1400011… 可访问。公开系统提供了重要骨架，但 benchmark 仍会受 API 漂移、固定模型版本与 reward hacking 影响；论文也没有 human optimizer baseline。

VeRO: A Harness for Agents to Optimize Agents8 / 10

09 · NEXTarXiv:2602.22480 · 2026-02-25

下一轮实验应该补什么

Q5. 怎样把预算、安全和防泄漏真正变成基础设施？

预算应同时覆盖 evaluator calls、optimizer tokens、wall time 与候选运行成本，权限也应由 capability system 强制。当前 B 主要按 evaluator calls 计，不包含 optimizer API cost；不同方法可能用完全不同的思考预算。还应加入 hidden canary、test filesystem denial、immutable evaluator 与审计日志。官方仓库 commit d1400011… 可访问。公开系统提供了重要骨架，但 benchmark 仍会受 API 漂移、固定模型版本与 reward hacking 影响；论文也没有 human optimizer baseline。

VeRO: A Harness for Agents to Optimize Agents9 / 10

10 · VERDICTarXiv:2602.22480 · 2026-02-25

带着边界读结论，才不会把局部改进说成自我进化

最终判断

VeRO 最值得读的部分是“怎样把 harness optimization 变成可追踪实验”，不是一张平均分表。 Git snapshot、预算化 evaluator 和结构化 observation 已经成为后续多篇工作的共同底座；安全实验则提醒我们，软规则没有执行力。基础设施贡献版本、奖励、观察与隔离统一进外层 harness。结果边界推理题几乎无增益，tool-use 才明显。安全结论权限与预算不能只写在 prompt。推荐对象准备搭建自动 harness 搜索平台的读者。

阅读位置

这篇在整个系列中的兴趣度为 8.7/10。先看任务边界，再看真实修改与隐藏评测，最后回到限制。

VeRO: A Harness for Agents to Optimize Agents10 / 10