01 · OVERVIEWarXiv:2609.04280 · 2026-09-03

EvoHarnessBench
工具目录扩展后,旧任务还能完成吗?

平台持续增加工具、操作指南或专用 Agent;旧题与检查不变,分别测新能力利用和旧题保持。

阶段 1 · H₁基础能力目录

先测这一批题,记录首次成功率。

旧题 A · 固定检查
阶段 2 · H₂加入新能力

新题 B 首次进入;旧题 A 继续测。

旧题 A + 新题 B
最终阶段 · Hₜ累计完整目录

再测旧题 A、B;比较保持与退化。

任务和检查仍固定
17演化序列
802不重复任务
520 / 42 / 62工具 / 操作指南(skills) / 专用 Agent
−34.7%主图的 relative BWT

BWT 比较旧题首次与最终的成绩;主图标成 relative BWT(相对变化),但未给归一化分母。−34.7% 不能改称 −34.7 个百分点。

v3§3–4;relativeBWT保持原单位1 / 10
02 · ACTORSarXiv:2609.04280 · 2026-09-03

先分清谁写、谁执行、谁给分

① 论文作者构造平台阶段

按规则把已有工具、skills 或专用 Agent 分批放入累计目录。

公开给 Agent:当前目录
② 被测 Agent执行公开任务

从累计目录中调用、检索或委派,留下最终业务状态。

看不到隐藏能力关联标签
③ 上游 verifier检查最终状态

运行原任务的 SQL、文件或邮件检查,返回成功或部分分。

检查条件不交给执行 Agent
两条边界能力标签决定题目何时加入verifier 决定执行结果是否通过
v3角色与task关联2 / 10
03 · MOTIVATIONarXiv:2609.04280 · 2026-09-03

这篇具体补了哪个空缺?

静态评测同一套可用能力
工具 A工具 B工具 C

换题时仍用固定目录;无法测出目录扩张对旧题的影响。

EvoHarnessBenchH₁ ⊂ H₂ ⊂ … ⊂ Hₜ
原有能力新增能力更多候选

旧题、初始状态与检查保持原样;Agent 每阶段面对更大的目录。

因此分开问新题能否用到刚加入的能力?旧题会不会因为选择空间变大而掉分?
Introduction3 / 10
04 · RELATEDarXiv:2609.04280 · 2026-09-03

相邻工作改的对象不同,分数不能混着比

工作修改对象反馈或判分
持续学习(Continual learning)任务序列变化模型或记忆持续适应
技能学习(Skill learning)Agent 自己生成操作指南生成的指南是否有效
EvoHarnessBench平台可用能力目录变化旧题与检查保持不变
RelatedWork;本文比较4 / 10
05 · MECHANISMarXiv:2609.04280 · 2026-09-03

标记任务需要什么,再按阶段释放能力与任务

01 · 标注每题需要哪些能力?

tools 继承上游标签;skills 按规则匹配;agents 由工具归属推得。

得到每题 Cᵢ
02 · 释放常用先来,长尾后到

按能力在任务里的出现频率排序,再分成 3–6 个阶段。

得到首次出现 r(c)
03 · 累积目录只增长

阶段 t 提供此前所有已释放能力;已出现的能力不删除。

H₁ ⊆ H₂ ⊆ … ⊆ Hₜ
04 · 入题全部能力首次齐备

任务在最后一项所需能力出现时进入,并在之后阶段重测。

入题阶段=max r(c)
deployment每阶段全新部署,只测目录扩张
self-evolving adaptation在适应题上更新提示、记忆或代码,再测保留题

skills 的关联来自规则匹配,不能证明某个指南是唯一必要条件;构造标签与最终检查不交给执行 Agent。

v3§3–4;技能匹配不是人工新标注5 / 10
06 · BOUNDARYarXiv:2609.04280 · 2026-09-03

BWT 按旧 cohort 任务数加权;主图另标为 relative

Appendix D:BWT = Σᵢ |Dᵢ|(RT,i − Ri,i) / Σᵢ |Dᵢ|,i<T

读公式

Dᵢ 为阶段 i 引入的任务;Ri,i 是当时成绩,RT,i 是最后成绩。末阶段不算旧任务。

10/20 题由 .8/.5 到 .6/.4:加权变化为 −.1333,即 −13.33 个百分点(说明性算例)。

读结果单位

论文主图与 Table 8 写的是 relative BWT%;附录公式却为绝对分差,未给出对应归一化分母。

因此保留原文 relative 标签,不用附录公式假称复现 −34.7%。

旧题 cohort 1 · 10 题首次 80% → 最终 60%−20 个百分点
旧题 cohort 2 · 20 题首次 50% → 最终 40%−10 个百分点
按任务数加权(10×−20 + 20×−10) / 30−13.33 个百分点
v3AppendixD公式;主图单位缺口,本文算例6 / 10
07 · REAL CASEarXiv:2609.04280 · 2026-09-03

真实任务:工单补产品,关联“已用过”的指南

1
公开 seed

Thomas Bailey / Initech;工单 101 为 phone、new,产品为空。

2
Agent 查找与修改

从 25 个工具中查到产品 35、知识 54,更新工单并建立关联。

3
两条实际 SQL

客户、产品、phone、in_progress;同工单知识关联 used_as=applied。各自 COUNT(*)=1。

4
推导的失败

若把 used_as 写成 resolution,检查返回 1、0。它表示问题已解决,与当前任务不符。

公开合成任务 ID:task_20251208_035402_755_ad5a67e3_8ca9a646。SQL 在评测端运行,不是 Agent 的直写工具;本文核查了 seed 和检查条件,未运行 hosted 环境。

SQL 1COUNT = 1工单产品与状态
SQL 2COUNT = 1知识关联 used_as=applied
严格成功两条都通过1/0 只是部分完成
固定 HF 任务 + EOG seed/verifier;失败为规则推导7 / 10
08 · RESULTSarXiv:2609.04280 · 2026-09-03

收益取决于能力轴和环境;叫齐 Agent 仍常失败

设置 / 成功率 %Tools EOG / ALESkills EOG / ALEAgents EOG / ALE
累计目录,不保留经验30.2 / 12.218.9 / 8.38.8 / 4.2
GEPA31.9 / 11.124.1 / 7.414.9 / 6.3
Meta-Harness35.2 / 11.119.4 / 7.818.5 / 3.2
选择质量约 79% → 89%

EOG agents 中,必需专用 Agent 的调用比例随方法提高。

执行质量仍有 78%–86% 失败

即使全部必需 Agent 都被调用,任务仍常未过最终检查。

主表底层模型是 GPT-5;EOG 与 ALE、三条轴的题集和目录不同,表中的百分比须按各自设置读。

v3 Tables 2/4/6;Appendix K.18 / 10
09 · EVIDENCEarXiv:2609.04280 · 2026-09-03

公开案例已有依据,复现边界仍要写清

可直接核查

  • 三个固定版本 HF 数据集、公开任务与逐题汇总。
  • EOG seed 和 database_state SQL 检查。
  • 工具、指南、Agent 轴的适应与旧题保持对照。

仍未解决

  • 原始阶段矩阵、相对 BWT 的归一化、完整有序日志。
  • Figure 1 caption 与 Table 8 的下降数值不一致。
  • 指南关联是规则近似;原文两种指南输入设置说明不一致。
论文 v3定义三轴与结果
HF 固定版本任务、逐题汇总
EOG 固定版本seed 与 SQL verifier
仍缺完整阶段矩阵与有序运行日志
v3 原文冲突;公开 release 不等于原实验全部运行记录9 / 10
10 · TAKEAWAYarXiv:2609.04280 · 2026-09-03

保留每批旧题回测,并按能力轴选择适应环境

Tools

MemToolAgent 适应时只给逐题工具:38.6%→39.1%,23.9→17.9 小时。

Skills

GEPA 缩小适应指南库:24.1%→23.0%,部分分提高、时间减少,但严格成功率下降。

Agents

Meta-Harness 从开头保持最终完整名单:18.5%→20.3%。这里稳定名单比持续扩张更有利。

这些是 EOG 上不同方法的对照,不能拼成同一个最好系统。实际部署需要同时记录新题成绩、旧题成绩、工具或 Agent 的完整调用,以及成本。平台删工具或改接口的情形尚未覆盖。

部署时同时看新题成绩每批旧题成绩调用完整性与成本
Tables 3/5/7;本文对部署评测的归纳10 / 10