先测这一批题,记录首次成功率。
旧题 A · 固定检查新题 B 首次进入;旧题 A 继续测。
旧题 A + 新题 B再测旧题 A、B;比较保持与退化。
任务和检查仍固定BWT 比较旧题首次与最终的成绩;主图标成 relative BWT(相对变化),但未给归一化分母。−34.7% 不能改称 −34.7 个百分点。
平台持续增加工具、操作指南或专用 Agent;旧题与检查不变,分别测新能力利用和旧题保持。
先测这一批题,记录首次成功率。
旧题 A · 固定检查新题 B 首次进入;旧题 A 继续测。
旧题 A + 新题 B再测旧题 A、B;比较保持与退化。
任务和检查仍固定BWT 比较旧题首次与最终的成绩;主图标成 relative BWT(相对变化),但未给归一化分母。−34.7% 不能改称 −34.7 个百分点。
按规则把已有工具、skills 或专用 Agent 分批放入累计目录。
公开给 Agent:当前目录从累计目录中调用、检索或委派,留下最终业务状态。
看不到隐藏能力关联标签运行原任务的 SQL、文件或邮件检查,返回成功或部分分。
检查条件不交给执行 Agent换题时仍用固定目录;无法测出目录扩张对旧题的影响。
旧题、初始状态与检查保持原样;Agent 每阶段面对更大的目录。
| 工作 | 修改对象 | 反馈或判分 |
|---|---|---|
| 持续学习(Continual learning) | 任务序列变化 | 模型或记忆持续适应 |
| 技能学习(Skill learning) | Agent 自己生成操作指南 | 生成的指南是否有效 |
| EvoHarnessBench | 平台可用能力目录变化 | 旧题与检查保持不变 |
tools 继承上游标签;skills 按规则匹配;agents 由工具归属推得。
得到每题 Cᵢ按能力在任务里的出现频率排序,再分成 3–6 个阶段。
得到首次出现 r(c)阶段 t 提供此前所有已释放能力;已出现的能力不删除。
H₁ ⊆ H₂ ⊆ … ⊆ Hₜ任务在最后一项所需能力出现时进入,并在之后阶段重测。
入题阶段=max r(c)skills 的关联来自规则匹配,不能证明某个指南是唯一必要条件;构造标签与最终检查不交给执行 Agent。
Dᵢ 为阶段 i 引入的任务;Ri,i 是当时成绩,RT,i 是最后成绩。末阶段不算旧任务。
10/20 题由 .8/.5 到 .6/.4:加权变化为 −.1333,即 −13.33 个百分点(说明性算例)。
论文主图与 Table 8 写的是 relative BWT%;附录公式却为绝对分差,未给出对应归一化分母。
因此保留原文 relative 标签,不用附录公式假称复现 −34.7%。
Thomas Bailey / Initech;工单 101 为 phone、new,产品为空。
从 25 个工具中查到产品 35、知识 54,更新工单并建立关联。
客户、产品、phone、in_progress;同工单知识关联 used_as=applied。各自 COUNT(*)=1。
若把 used_as 写成 resolution,检查返回 1、0。它表示问题已解决,与当前任务不符。
公开合成任务 ID:task_20251208_035402_755_ad5a67e3_8ca9a646。SQL 在评测端运行,不是 Agent 的直写工具;本文核查了 seed 和检查条件,未运行 hosted 环境。
| 设置 / 成功率 % | Tools EOG / ALE | Skills EOG / ALE | Agents EOG / ALE |
|---|---|---|---|
| 累计目录,不保留经验 | 30.2 / 12.2 | 18.9 / 8.3 | 8.8 / 4.2 |
| GEPA | 31.9 / 11.1 | 24.1 / 7.4 | 14.9 / 6.3 |
| Meta-Harness | 35.2 / 11.1 | 19.4 / 7.8 | 18.5 / 3.2 |
EOG agents 中,必需专用 Agent 的调用比例随方法提高。
即使全部必需 Agent 都被调用,任务仍常未过最终检查。
主表底层模型是 GPT-5;EOG 与 ALE、三条轴的题集和目录不同,表中的百分比须按各自设置读。
MemToolAgent 适应时只给逐题工具:38.6%→39.1%,23.9→17.9 小时。
GEPA 缩小适应指南库:24.1%→23.0%,部分分提高、时间减少,但严格成功率下降。
Meta-Harness 从开头保持最终完整名单:18.5%→20.3%。这里稳定名单比持续扩张更有利。
这些是 EOG 上不同方法的对照,不能拼成同一个最好系统。实际部署需要同时记录新题成绩、旧题成绩、工具或 Agent 的完整调用,以及成本。平台删工具或改接口的情形尚未覆盖。