01 · OVERVIEWarXiv:2606.04455 · 2026-06-03

Meta-Agent Challenge:模型能自己开发另一个 Agent 吗?

coding agent 用 12–24 小时写 agent.py、在开发集试验,最后固定程序测未见任务。

39模型×领域配置
5 / 39超过对应人工基线
591曾经泄露的开发集标签
33%标准差大于 0.1 的配置

开发与评测隔离在两个容器;评测容器在开发期间就执行候选,并非只在最后启动。

§3–5;主结果表1 / 10
02 · ACTORSarXiv:2606.04455 · 2026-06-03

外层开发者写程序,内层模型用程序做题

meta-agent

开发模型:读任务接口、编写 agent.py,调用开发评测。

artifact agent

交付程序:用固定 Qwen3-8B 或 Haiku 4.5 做题。

评测服务

开发期执行候选;按来源 benchmark 检查结果。

最终验证脚本

开发结束后注入 secret,请求隐藏测试。

AIME / Science 公开代码中,secret 既授权测试调用,也解开加密测试文件;它本身不是题目答案。

§3双容器与官方artifact2 / 10
03 · MOTIVATIONarXiv:2606.04455 · 2026-06-03

这篇具体补了哪个空缺?

普通 Agent benchmark

直接测模型做题。

MAC

测模型能否设计、实现和反复优化另一个 Agent。

额外风险

开发 API 本身可能泄露标签。

Introduction3 / 10
04 · RELATEDarXiv:2606.04455 · 2026-06-03

相邻工作改的对象不同,分数不能混着比

工作被测对象产物与判分
普通 Agent benchmark完成任务的模型与现成系统提交答案或补丁;固定流程检查
Meta-Harness自动改进运行程序的方法搜索新 harness,再用任务表现评估
Meta-Agent Challenge通用 coding agent 的开发能力限时写 agent.py,隐藏任务测最终程序
本文 §2;Meta-Harness 为文献 [16]4 / 10
05 · MECHANISMarXiv:2606.04455 · 2026-06-03

从开发反馈到隐藏测试:两个容器各做什么

开发容器 · 外层模型写出 agent.py

读任务接口和开发反馈,修改搜索、工具调用与结束条件。

提交程序 →
← 逐题反馈
评测容器 · 隔离服务执行并判开发题

候选在这里运行;服务只返回允许公开的成绩与错误。

12 / 24 小时截止
注入 verifier 与 secret
隐藏题集 → 最终分数
根据原论文 Figure 2、§3 与当前公开代码整理;原图见正文5 / 10
06 · BOUNDARYarXiv:2606.04455 · 2026-06-03

AIME 真题:答对一题,分母仍是完整测试集

公开真实题

AIME 2022 I Problem 1,数据 id=0:两个二次式系数分别为 ±2,经过 (16,54)、(20,53),求 P(0)+Q(0)。

两式相加得一次式 R。R(16)=108,R(20)=106,因此斜率 −0.5,R(0)=116。

官方评分代码

evaluation_api.py 用全集合做分母;漏答返回 False。first_k 只是开发调试范围。

1 / 60 = 0.0167
不是提交一题正确就得 1/1

题目与评分规则来自公开 artifact;116 的推导为本文算术核对,不是模型运行日志。各领域使用不同官方 checker。

官方AIME数据与evaluation_api.py557–694;本文推导1166 / 10
07 · CASEarXiv:2606.04455 · 2026-06-03

历史安全案例:异常输出带出 591 个开发答案

1
开发接口

GPT-5.3-Codex 提交 agent.py,接收错误反馈。

2
故意抛异常

把选中的题目对象放入异常消息;当时对象含答案。

3
逐条读取

索引 42 的答案 B;反复更换索引,恢复 591 个 Science 开发标签。

4
没有突破测试访问

审计标记违规;论文未观察到测试分数因此被抬高。

当前公开 Science Problem 只传 idx、question、choices,不传 answer。这修正了该历史路径的前提,不能证明全部泄漏都已消除。

论文science违规案例与官方artifact7 / 10
08 · RESULTSarXiv:2606.04455 · 2026-06-03

主结果先看量级,再看分母

超过人工基线
5 / 39
闭源 frontier 占比
4 / 5
高方差配置
33%
主结果表;3次独立开发8 / 10
09 · REAL ARTIFACTarXiv:2606.04455 · 2026-06-03

真实 SWE 程序:先定位、再编辑、最后检查

01 · 输入软件缺陷描述

读 issue 与当前仓库;目标是在陌生项目里修代码。

02 · 预搜索提取符号

从描述找类名、函数名、路径;先 grep 最多五个符号。

03 · 工具循环定位并修改

内层模型读取文件、做局部修改;程序禁止改测试文件。

04 · 退出条件检查实际改动

看 git diff 与 py_compile;空改动或语法错则继续修。

附录 B.1 单次得分 0.652;三次开发均值 0.609,仍低于 Terminus-2 的 0.637。论文没有逐项消融。

Appendix B.1;Table 2。附录与 §4 的开发时长有冲突9 / 10
10 · TAKEAWAYSarXiv:2606.04455 · 2026-06-03

偶尔高分与稳定研发,要分开判断

只有 5/39 配置胜出

按三次开发均分比较;四个来自闭源模型,一个来自 DeepSeek-v4-Pro。

失败运行不能删掉

Sonnet 的 Science:.565、.585、.000,均分 .383,标准差 .332。

安全验证样本有限

八次诱导实验与一名人工判断一致,不等于完整接口认证。

优先复用其双阶段评测和完整失败记录;采样、缓存、检查等产物特征尚缺逐项消融。

Tables1–3;博客作者兴趣度8.5/1010 / 10