同一道编程任务尝试 16 次,可能有多份代码都通过测试,却只有一份改得精准。普通的 0/1 奖励会给这些成功尝试相同的训练权重。GAGAR 让一个能检查仓库和执行记录的判分 Agent 比较它们,再把部分权重转给质量更好的实现。
1. Motivation:通过同一套测试的代码,质量仍可能不同
测试能验证结果,却不会自动评价实现质量。
同一套测试可能同时接受两份代码:一份修复了根本原因,只改必要文件;另一份增加特殊分支、修改无关模块,甚至只对已知测试生效。它们的二元奖励都是 1。训练继续强化这两条轨迹时,策略模型得不到“应该更像第一份实现”的信号。
GAGAR 要求 grader(判分 Agent) 比较同一任务中已经通过测试的候选实现。这样的比较比逐份独立打分多了一层上下文:判分 Agent 能看到不同 Agent 如何理解同一个缺陷,哪些改动是必要的,哪些只是掩盖症状。失败轨迹也会放进同一个工作区,帮助它识别已经试过但无效的路线,不过失败样本不参加质量排序。
2. Related Work:从单个评分到成功实现之间的比较
GAGAR 保留测试作为正确性门槛,再让一个能读取并运行代码仓库的判分 Agent 比较多条完整轨迹。
| 路线 | 输入 | 输出信号 | 与 GAGAR 的区别 |
|---|---|---|---|
| 二元结果奖励 / GRPO | 最终测试结果 | 通过 / 失败 | 同一尝试组内的所有成功轨迹得到相同 advantage。 |
| 过程奖励 / 逐步归因 | 中间步骤或已经对齐的中间状态 | 每一步或每个 token 的训练权重 | 代码 Agent 的轨迹很长,各次尝试又会把仓库改成不同状态,很难逐步对齐。 |
| 大语言模型(LLM)静态判分 | 提示词、回答或代码改动摘要 | 分数或偏好 | GAGAR 的判分 Agent 可以继续读取代码和测试日志,还能运行有针对性的检查。 |
| ReCode | 逐个候选的推理过程,先通过测试 | 候选级过程奖励 | 不共同调查同一题的完整代码与执行记录。 |
| PAPO | 通过测试子集中的评分项 | 加法式、子集零和的 advantage 修正 | GAGAR 用质量系数乘权重并重缩放;无上限公式保留成功权重总量,带上限实现有例外。 |
| Groupwise Ranking Reward | 已被 verifier 判对的多模态推理 | 单次文字判分后的组内排名 | GAGAR 的 grader 可以调查仓库、查日志和运行检查,不止读一段文字。 |
| 让 Agent 担任判分者(Agent-as-a-Judge) | 任务环境与候选产物 | 由 Agent 主动调查后给出评价 | GAGAR 把相似思想用于在线强化学习,再把排序转成 advantage 的重新分配。 |
论文的贡献主要在 credit assignment(训练权重如何归给不同样本),没有发明新的代码评测基准(benchmark),也没有用判分 Agent 取代可执行测试。评测仍使用 DeepSWE v1.1 与 SWE-bench Pro。
3. Method:质量排序如何改变一组轨迹的训练权重
测试仍决定正确性,grader 只决定成功实现之间的质量偏好。 当前 policy 为一道题生成 16 条完整轨迹;这组轨迹全部完成后,才启动该组的质量检查。其他任务组可以同时继续生成,不需要全批次都等待。
- 1 · 验证先运行任务测试。基础设施故障使轨迹无效;确认依赖泄漏或外部答案的实现,奖励改为 0。只针对测试的特殊处理另归质量最差档。
- 2 · 判分判分 Agent 读取任务、仓库、执行轨迹、代码改动与测试输出,只排序有效且通过测试的候选实现。
- 3 · 映射T1 的质量系数为 1.0 或 0.9;T2 从 0.85 降至 0.4;T3 为 0.2。
- 4 · 重缩放成功样本的正 advantage 先乘质量系数,再乘 λ。无上限公式恢复原正权重总量;上限分支见下文。
- 5 · 训练每条轨迹得到一个序列级 advantage,该权重应用到这条轨迹中由模型生成的全部 token。
线上 grader 是固定的、强化学习前 SFT 的 MiMo-V2.6-Pro,两种被训练模型都使用它。它不是正在更新的 policy,也不与 policy 一起继续训练。初始 Claude Opus 5 grader 每组约需 2,000 秒,换成 Pro 约 600 秒;这些是作者的计时,不是 600 秒内完成整批训练。
检查工作区包含任务、仓库、所有轨迹、补丁与测试结果。grader 先读各步摘要,再定位有关代码或日志,必要时执行针对性检查。失败尝试只提供上下文,不参加质量排序。有 reference patch 时,它只能帮助理解任务,代码相似度不是评分项,也不会作为训练轨迹获得权重。
不能评的基础设施失败先剔除,再计算组内统计;确认使用泄漏或外部答案的候选,其奖励改为 0,并按失败重新计算。排序缺失或无法解析时,保留原学习信号,不以坏评分强行更新。动态采样只保留同时有成功和失败的组。
判分 Agent 使用五项 1-5 分标准:方案是否合理(Approach Suitability)、实现是否准确(Implementation Precision)、改动是否精简(Minimality of Changes)、是否引入副作用(Unintended Side Effects),以及是否符合现有代码风格(Codebase Consistency)。初始加权分数为:
附录 Table 2:五项标准具体看什么
| 标准与权重 | 质量较高的信号 | 质量较低的信号 |
|---|---|---|
| 方案合理性 · 0.30 | 修复根因,策略合适 | 只绕过症状,策略根本有误 |
| 实现准确性 · 0.25 | 改对位置,覆盖完整行为 | 零散特判,多余的回退逻辑 |
| 改动精简 · 0.20 | 必要且限定在任务范围内 | 无关重构,多余分支 |
| 避免副作用 · 0.15 | 周边行为和公开接口稳定 | 改动无关行为,引入核心路径风险 |
| 遵循仓库约定 · 0.10 | 复用现有抽象,风格一致 | 临时机制,风格或注释不一致 |
对应论文 Table 2,依据原表重新排版并翻译,未复用原图像素。
档位按附录 A.1 的固定规则产生。先判 T3:确认有未经要求的重写、只针对测试的特殊处理、方案合理性得 1 分,或改动精简与避免副作用两项都不超过 2 分。剩余候选若每项至少 4 分,且没有严重过程问题或未解决回归,就进 T1;其他进 T2。
W 只给初始顺序,不是用一个总分阈值直接切档。grader 可以凭任务证据修正档内排序,无法区分就并列。T1 排名第一的并列组都取质量系数 1,其余组取 0.9;T2 按并列组排名从 0.85 线性降至 0.4,只有一组时为 0.85;T3 统一为 0.2。系数按并列组序号计算,不按前面已有多少候选计算。负面判断必须指向代码位置、轨迹事件或执行结果。
3.1 一个明确标注的公式构造例子
这个例子只解释公式,不是论文公开的真实训练样本
- 四次尝试中两次通过、两次失败,因此
R̄=0.5。两个成功样本的初始 advantage 都是+0.5。 - 假设判分 Agent 把第一份代码归为 T1,质量系数为
1.0;第二份归为 T3,质量系数为0.2。 - 简单降权后,正 advantage 总量从
1.0变成0.6。GAGAR 计算λ=1/0.6≈1.667。 - 两个成功样本的新 advantage 分别为
0.833与0.167,总和仍为1.0;两个失败样本仍为-0.5。
论文没有发布真实任务、候选代码改动、判分过程或最终档位,所以无法从公开材料复原一个真实的 GAGAR 判分案例。这里保留这个证据缺口,不用合理猜测补齐未公开内容。
把上面的计算写成一般形式:先记成功样本原来的正权重总和为 S+ = Σ Aᵢ,再用降权后的总和求比例:
两个求和都只包含成功样本。统一乘 λ 保留它们之间的质量比例,再恢复正权重总量。这里守恒的是序列级 advantage 的和;训练损失还按模型生成的 token 取平均,不同轨迹长度不同,不能由序列零和直接断言每个 token 的正负梯度总量也精确平衡。
3.2 正文公式和带上限实现的差别
正文公式 2 的重缩放系数可以精确保持正 advantage 总量。附录 A.2 说明训练实现还会使用 λ_max=1.5:
上面的构造例需要 λ≈1.667,所以触发上限。乘 1.5 后四个权重是 [0.75,0.15,−0.5,−0.5],平均 −0.025;减去平均后,实际训练权重为:
组内仍为零和,成功排序仍保留,但正权重总和从 1.0 变成 0.95,失败权重也不再是 −0.5。精确守恒只属于正文的无上限公式。 附录允许另行加入长度奖励处理;此时原始优势可能不相等,还会先取成功权重的正部分。公开材料是论文报告的实现,没有仓库代码可独立核验。
还有一个重要边界:直接把成功 reward 设成质量系数,然后减去新的组均值,也会产生零和 advantage,只是不保留原失败权重和成功比例。论文的“不重分配”消融没有做这一步重新居中;不能据此证明所有 reward shaping 都不稳定。若组内只有一份成功实现,或所有成功系数相同,无上限 GAGAR 退回原二元优势。
4. Experiments:通过率、执行长度与质量审计
最可靠的结论来自 MiMo-V2.6-Flash 上只训练代码任务的受控对照,不是最终混合任务模型与外部模型的横向比较。
主要对照从同一个强化学习前的监督微调(SFT)模型存档出发。每个训练批次包含 128 道任务,每题生成 16 次完整尝试。评测使用 DeepSWE v1.1 与 SWE-bench Pro,每题独立生成 3 次;avg@3 指这三次结果的平均通过率。只用二元奖励的基线在第 28 步因性能快速下降而停止,因此公平的共同训练区间只到第 28 步。
| DeepSWE v1.1 · 第 28 步 | 二元奖励基线 | GAGAR | 差值 |
|---|---|---|---|
三次采样平均通过率 avg@3 | 50.2% | 62.2% | 图中相差 12.0 个百分点 |
| 主 Agent 平均交互轮数 | 132.3 | 111.6 | -15.6% |
| 平均总 token 数 | 191.9k | 172.9k | -9.9% |
只降低差样本权重、不重新分配的消融实验在第 28 步得到 56.2%,低于完整方法的 62.2%;平均交互轮数为 143.5 对 111.6,总 token 数为 236.0k 对 172.9k。这个对照支持该次训练中“不要直接丢掉正权重”的设计,但没有比较所有会重新居中的奖励变换,也没有多随机种子。
补充训练曲线:Figure 2 与 Figure 4 的其他读数
SWE-bench Pro 在第 28 步的平均交互轮数为 58.4→54.6(减少 6.5%),平均 token 长度为 79.9k→68.6k(减少 14.1%)。继续训练的 GAGAR 在 DeepSWE 第 44 步达到 63.4%,在 SWE-bench Pro 第 52 步达到 62.5%;这两个时点不能与第 28 步停止的二元基线当作同预算比较。
在 Figure 4 的另一次“只降权”消融中,策略熵从第 1 步的 0.359 增到第 30 步的 0.905,完整方法为 0.358→0.513;训练轨迹平均 token 长度分别从 47.1k→114.1k、46.5k→69.9k。前 30 步的平均策略梯度损失为 0.0304 对 0.0021。这些曲线与该次消融的不稳定表现同时出现,不能直接证明熵变化是原因。
另一个结果是对 30 个随机 DeepSWE 任务进行质量审计(论文 Figure 3)。这次审计改用 Claude Opus 5,区别于线上固定 Pro grader。每个任务各放入两种方法最多三次尝试,包括失败;候选匿名并随机排序。它共同查看执行轨迹、代码改动与测试结果。在两组都训练到的最后一个模型存档上,GAGAR 按评分表加权后的质量分为 4.03,对照为 3.70;平均胜率 69.8% 只计算通过测试的候选,并列拆分后组内排名第一的比例为 65.0%。最高质量档 T1 的候选比例从 25.4% 升到 34.3%。不能把胜率的成功子集分母套到整个审计上。样本量较小,而且判分者仍是大语言模型(LLM),不能把它等同于真实工程师的代码审查。
另外,混合任务训练的最终 Flash 在 DeepSWE / SWE-Pro 得到 67.9 / 60.9,Pro 为 71.9 / 62.7。但它们与外部前沿模型或代码专用对照不是同预算、同训练数据实验,不能把这些最终差距都算作 GAGAR 的贡献。二元基线的最高 58.5 出现在第 20 步,后面降到第 28 步停止;后续 GAGAR 第 44/52 步的成绩也不应与停止的基线当成共同训练步比较。
论文 Table 1:最终混合任务模型与外部模型的全部分数
| 模型 | DeepSWE v1.1 | SWE-bench Pro |
|---|---|---|
| Kimi K3 | 69.0% | 63.3% |
| GPT-5.6 Sol | 73.0% | 60.5% |
| Claude Opus 5 | 74.0% | 79.9% |
| MiMo-V2.6-Flash | 67.9% | 60.9% |
| MiMo-V2.6-Pro | 71.9% | 62.7% |
按论文 Table 1转录。该表不是只改变 GAGAR 的受控实验。
5. Discussion:判分稳定性与真实开发成本
下一步应该让判分 Agent 本身可以被重复评测,并把质量收益连接到真实开发成本。
第一项需要公开匿名化的“任务、仓库快照、执行轨迹、代码改动、测试和评分”数据包。这样才能检验不同判分模型、提示词和生成温度是否产生稳定排序,也能让人类审查者测量彼此的一致程度。
第二项需要单独做 λ_max 的消融实验。当前论文把精确保持正权重总量的方法和带上限的实现分别写在正文、附录,却没有报告上限触发频率。这个频率决定训练过程中有多少尝试组真正满足正文的守恒性质。
第三项是把“质量”落到开发者成本。比如让审查者在不知道模型来源的情况下记录发现问题所需时间、要求修改的次数,以及代码能否直接合并。这样的指标比另一个大语言模型给出的 1-5 分更接近论文声称的可维护性。
6. Conclusion:保留测试门槛,但别扩大守恒与质量结论
方法抓住了代码 Agent 强化学习中真实存在的盲点,受控实验也给出一致信号;公开证据尚不足以判断判分 Agent 能否可靠识别好代码。
同一起点、同一步数的 Flash 实验支持 GAGAR 在 DeepSWE 上提高通过率并缩短轨迹。“只降权”消融也更差,但它没有测试重新居中的其他奖励变换。论文没有多随机种子、置信区间或人工代码审查,也未公开判分记录;因此,方法能否稳定识别可合并的好代码仍待验证。
如果研究目标是 Claude Code、Codex 一类完整的软件 Agent 运行框架(harness),这篇值得读。它提供了一种把“能读取整个代码仓库的审查”接进强化学习的方法。复现门槛目前很高;接下来的研究需要公开判分 Agent 的输入和判据,并测量排序稳定性以及它与人工代码审查的一致程度。
主要来源:论文 v1 第 1-5 节、附录 A、图 1-4、表 1-2。论文与 arXiv 条目复核日期:2026-10-20。论文未给出官方代码仓库、判分提示词、训练任务或逐组评分记录。
留言