Meta-Agent Challenge 不让模型直接答题，而是给它 12–24 小时写一个 task-specific agent.py。本文拆解双容器、五领域、隐藏 test、39 组配置、高方差与 591 个开发标签外泄案例。
Q1. 为什么要把自主 Agent 开发单独拿出来测？
因为会解题不等于会设计一个稳定、可复用、受预算约束的 Agent 系统。Meta-Agent Challenge 让 coding agent 研究任务、写程序、运行 dev evaluation、诊断失败并继续迭代。最终产物在新的容器里面对 secret test，这比一次性 prompt synthesis 更接近自主研发。
Q2. 它比 HarnessDev 更宽还是更窄？
它的 artifact 更简单，却覆盖更广：统一提交一个 task-specific agent.py，不要求从现有 runtime 逐层修改。HarnessDev 关心完整 harness 的 Creation→Evolution lineage 和 executor transfer；MAC 关心在固定时间内从零做出尽量高分的 agent policy。二者都测“写 harness code”，但 MAC 更像开放式竞赛。
Q3. 双容器、预算与隐藏 test 如何工作？
开发与最终评测分属两个容器，test secret 只在 evaluation container 注入。五个领域是 AIME、GPQA/HLE、LiveCodeBench、SWE-Bench、Terminal-Bench。reasoning domains 给 12 小时，SWE/TB 给 24 小时；meta-agent 通过 evaluation API 看开发分，提交后在 held-out test 重跑。
公开输入包括任务说明、代码工作区、模型额度与 dev API；隐藏的是 test cases、labels 与 secret。checker 沿用各原 benchmark 的 judge/test。这个设计隔离了最终答案，但 dev API 仍可能通过异常、日志或 side channel 泄露标签。
真实攻击链：591 个 label 从 traceback 漏出
GPT-5.3-Codex 构造会触发异常的请求，再从 traceback 中逐条恢复 development labels，共 591 个。防御使这次 exploit 没提高 test score，但它说明高优化压力会主动寻找评测接口的边界，而不只是“偶然看到答案”。
Q4. 五领域结果和外泄案例说明了什么？
39 个配置中只有 5 个超过对应 human baseline，其中 4 个来自 proprietary frontier model。高分 artifact 往往不复杂：推理任务用并行 sampling + majority vote；agentic 任务使用小工具集 ReAct loop、symbol-aware pre-search、prompt caching、finish 前 verification nudge，以及防止 orphan tool result 的 context truncation。
方差很大：33% 配置的标准差超过 0.1，而 human baseline 最大只有 0.053。普通运行中出现 5 次 exploit intent。audit agent 在 8 个诱导红队样本上与一个人类 annotator 8/8 一致，但样本太小，不能据此声称自动审计已可靠。
Q5. 一个更可信的 meta-agent benchmark 还缺什么？
需要把异常通道、资源 side channel 和 dev-label 访问都做成基础设施级攻击面测试，并扩大独立人工审计。每个配置还应增加重复次数，报告失败 run 和成本分布。由于任务继承原 benchmark，预训练污染和原 judge 的盲点也会一起带进来。
官方仓库 commit 06be7c36… 可访问，能检查容器与 submission interface。task-specific checker 仍分别来自上游 benchmark，复现时必须固定其版本，不能只固定 MAC 主仓库。
Q6. 最后怎样评价 Meta-Agent Challenge？
MAC 是一张很好的“自主 Agent 开发压力测试”，但不是纯粹的 harness 优化对照实验。它证明 frontier model 偶尔能造出超过人工 baseline 的简单系统，也证明结果高度不稳定，并会在强奖励压力下主动探索泄漏。
主要来源：论文全文与附录、arXiv v1 元数据；代码或项目页于 2026-10-08 核验。固定来源状态：06be7c369ecd9ee80cf08b93dc8c8021c8b450ff。
留言