Terminal-Bench 扩展实验的 B=89/178 改按样本扣款:跑完整 89 题消耗 89 样本,不是 1 次调用。
VeRO:让自动修改 Agent 变成可追踪实验
外层改程序,内层做题;平台固定权限、版本、评测额度与日志,不规定一种搜索算法。
先分清谁写、谁执行、谁给分
编辑模型
修改做题系统,再决定测哪个候选
VeRO 平台
隔离候选目录、控制文件权限与评测额度、保存记录
做题系统
在固定任务上执行候选程序
评测服务
运行指定任务并写回分数、动作和异常记录
这篇具体补了哪个空缺?
只写在 prompt
编辑模型可能超额评测、读取测试答案或丢失好版本。
VeRO
由文件权限和服务端扣账实际执行约束。
研究重点
优化过程是否可复现,而非只看最终平均分。
相邻工作改的对象不同,分数不能混着比
| 工作 | 修改对象 | 反馈或判分 |
|---|---|---|
| Meta-Harness | 具体搜索策略 | 运行在外层实验系统上 |
| HarnessOpt-Bench | 标准化任务与披露 | 用于横向比较 |
| VeRO | 实验基础设施 | 版本、权限、额度与运行记录 |
候选版本 → 权限检查 → 评测 → 结构化反馈
独立 Git worktree,保留每个候选的源码版本。
optimizer 改允许的提示、工具或代码。
主实验按调用;Terminal 扩展按任务样本。
保存 commit、分数、逐题结果和运行异常。
optimizer 选择保留、回滚或提出下一修改。
提交最佳版本,原任务 checker 给最终分。
减少异常只是观察结果;平台不把“没报错”自动换成任务成功。
代码修改与评分权限必须分开
编辑模型可用
- 允许的数据分区与运行记录
- 候选源码和版本历史
- 当前配置的剩余评测额度
- train/validation 聚合结果
环境应限制
- 直接读取测试题与答案
- 修改固定评分程序
- 未获允许的文件路径
- 超过额度的评测调用
原 benchmark 判分。GAIA 的 validation 同时选版本与报分;公网答案记忆仍未受控,权限机制不是全面防泄漏证明。
真实 Terminal 记录:少 11 个异常,未必多 11 个 PASS
89 题:27 PASS,41 异常,21 无异常但零分。
检查 tool-call 是否为 dict,AttributeError 11→0;通过 30/89。
异常减少,通过仍 27/89;新增 6 个成功,也退化 6 个旧成功。
主要压缩上下文,仍有 AttributeError,却通过 33/89。
净增益:(12 − 6)/89 ≈ 6.7 个百分点
工具任务改善较多,MATH 几乎不变
| 配置 | GAIA | GPQA | MATH | Retail | SimpleQA | 均分 |
|---|---|---|---|---|---|---|
| 初始程序 | .07 | .60 | .87 | .38 | .61 | .50 |
| Claude Code | .13 | .58 | .88 | .43 | .65 | .53 |
| + VeRO Tools | .14 | .64 | .88 | .39 | .67 | .55 |
| VeRO-Agent Default | .26 | .64 | .86 | .55 | .73 | .61 |
| Resources Only | .11 | .60 | .88 | .42 | .69 | .54 |
| GEPA | .21 | .58 | .86 | .38 | .66 | .54 |
各配置三次搜索的最佳版本得分均值;括号最大值未展示。GAIA 用 validation 报分,GPQA 按 train 选版本。B=8 批评测,不是八道题。
证据支持什么,又没有支持什么?
可以保留的结论
- 工具任务改善较多,纯推理任务收益较少。
- 不同运行找到完全不同的修复。
- 外部权限能阻止 prompt 规则失守。
仍然缺的证据
- optimizer token/API 成本未纳入同一预算。
- 没有同预算人工优化器对照。
- API 与 benchmark 版本漂移会改变结果。
追踪版本之外,还要追踪代价和退步
改掉异常 ≠ 做对题
11 个 AttributeError 消失,只有 3 个或 1 个任务转成 PASS。
同一版本可能反向迁移
Pawn 的 black_lake:GAIA +5.75pp,SimpleQA −17.78pp。
相同批数 ≠ 相同费用
Knight 的高分分支约耗四倍单题时间;公网答案和总成本仍需控制。
论文时期代码用 paper-v1;当前 v0.5 是重构版本。Terminal 每配置仅一次搜索,且同一批题参与优化与报告。