开发与评测隔离在两个容器;评测容器在开发期间就执行候选,并非只在最后启动。
Meta-Agent Challenge:模型能自己开发另一个 Agent 吗?
coding agent 用 12–24 小时写 agent.py、在开发集试验,最后固定程序测未见任务。
外层开发者写程序,内层模型用程序做题
meta-agent
开发模型:读任务接口、编写 agent.py,调用开发评测。
artifact agent
交付程序:用固定 Qwen3-8B 或 Haiku 4.5 做题。
评测服务
开发期执行候选;按来源 benchmark 检查结果。
最终验证脚本
开发结束后注入 secret,请求隐藏测试。
AIME / Science 公开代码中,secret 既授权测试调用,也解开加密测试文件;它本身不是题目答案。
这篇具体补了哪个空缺?
普通 Agent benchmark
直接测模型做题。
MAC
测模型能否设计、实现和反复优化另一个 Agent。
额外风险
开发 API 本身可能泄露标签。
相邻工作改的对象不同,分数不能混着比
| 工作 | 被测对象 | 产物与判分 |
|---|---|---|
| 普通 Agent benchmark | 完成任务的模型与现成系统 | 提交答案或补丁;固定流程检查 |
| Meta-Harness | 自动改进运行程序的方法 | 搜索新 harness,再用任务表现评估 |
| Meta-Agent Challenge | 通用 coding agent 的开发能力 | 限时写 agent.py,隐藏任务测最终程序 |
从开发反馈到隐藏测试:两个容器各做什么
读任务接口和开发反馈,修改搜索、工具调用与结束条件。
← 逐题反馈
候选在这里运行;服务只返回允许公开的成绩与错误。
AIME 真题:答对一题,分母仍是完整测试集
公开真实题
AIME 2022 I Problem 1,数据 id=0:两个二次式系数分别为 ±2,经过 (16,54)、(20,53),求 P(0)+Q(0)。
两式相加得一次式 R。R(16)=108,R(20)=106,因此斜率 −0.5,R(0)=116。
官方评分代码
evaluation_api.py 用全集合做分母;漏答返回 False。first_k 只是开发调试范围。
不是提交一题正确就得 1/1
题目与评分规则来自公开 artifact;116 的推导为本文算术核对,不是模型运行日志。各领域使用不同官方 checker。
历史安全案例:异常输出带出 591 个开发答案
GPT-5.3-Codex 提交 agent.py,接收错误反馈。
把选中的题目对象放入异常消息;当时对象含答案。
索引 42 的答案 B;反复更换索引,恢复 591 个 Science 开发标签。
审计标记违规;论文未观察到测试分数因此被抬高。
当前公开 Science Problem 只传 idx、question、choices,不传 answer。这修正了该历史路径的前提,不能证明全部泄漏都已消除。
主结果先看量级,再看分母
真实 SWE 程序:先定位、再编辑、最后检查
读 issue 与当前仓库;目标是在陌生项目里修代码。
从描述找类名、函数名、路径;先 grep 最多五个符号。
内层模型读取文件、做局部修改;程序禁止改测试文件。
看 git diff 与 py_compile;空改动或语法错则继续修。
附录 B.1 单次得分 0.652;三次开发均值 0.609,仍低于 Terminus-2 的 0.637。论文没有逐项消融。
偶尔高分与稳定研发,要分开判断
只有 5/39 配置胜出
按三次开发均分比较;四个来自闭源模型,一个来自 DeepSeek-v4-Pro。
失败运行不能删掉
Sonnet 的 Science:.565、.585、.000,均分 .383,标准差 .332。
安全验证样本有限
八次诱导实验与一名人工判断一致,不等于完整接口认证。
优先复用其双阶段评测和完整失败记录;采样、缓存、检查等产物特征尚缺逐项消融。