论文解读·

[2026-08-26] V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning

答对选项也可能看错图。V-Rubrics 把视觉事实、推理和输出要求分开判分,再将每项训练信号分配给回答的相应前缀。本文用公开潮汐题复算奖励,核对原论文图表与代码边界。

页数
12
形式
交互图解
更新
2026.10.20
文章目录

S-Lab, NTU 等 · arXiv:2608.25580v1 · 最早公开于 2026-08-26

12 页交互图解 · 数据构建、真实评分案例、前缀归因与实验边界大屏阅读 ↗

使用按钮或 ← → 翻页,F 进入或退出全屏手机端建议横屏阅读;独立打开后可点左下角返回文章

V-Rubrics 认为视觉推理的奖励太粗。模型即使看错图、推理出错,也可能碰巧选中正确答案;只检查最终答案的奖励(answer-only reward)仍然会给 1。作者把参考回答拆成多条可独立判断的评分项(rubric items),再让每项训练权重覆盖回答开头到相关句子的文字。这段文字叫回答前缀;它用于让训练区分哪些视觉事实或推理成立。

博客作者兴趣度 7.5 / 10评分只表示博客作者本人兴趣程度;主要价值在细粒度奖励与公开实现,不代表所有视觉任务都稳定受益
50,248强化学习训练样本
352,938视觉事实、推理与指令遵循三类评分项
+1.79通用与知识类总体平均分相对只看答案的 GRPO
+0.51视觉推理平均分相对只看答案的 GRPO

1. Motivation:答对选项不代表看对了图

一条答案可以包含多个局部判断,最终正确与这些判断全部正确不是一回事。

图表题里,模型可能读错一个柱子的高度,却通过其他线索猜对选项;几何题里,模型可能识别出形状,却使用不成立的关系完成推导。只看最终答案的 GRPO 把这些情况都压成一个数值。对于同一问题的多次生成结果,模型只知道哪次答对,不知道哪条视觉陈述值得保留。

V-Rubrics 先把参考答案拆成“每条只表达一个事实或推理”的判断项,再让判分模型分别输出是或否。正权重评分项提供部分得分。负权重的 PITFALL 条目写的是“应避免某个错误”,判为 1 是成功避免,判为 0 才是确认违反。违反后取消答案与正评分项的语义奖励,但代码中的格式奖励仍独立保留;判分服务失败不等于违反。

2. Related Work:评分粒度与训练权重的范围

论文把三件已有思路接在一起:自动生成评分项、逐项判断回答,再把每项 advantage 放到能够对齐的回答前缀。

路线训练信号主要缺口V-Rubrics 的位置
只看答案的视觉强化学习最终答案是否正确无法区分视觉事实、推理和格式错误保留答案奖励,同时增加逐项评分标准。
大语言模型(LLM)整段判分整条回答的单一分数具体错误仍被折叠每条评分项独立判断是或否,再归一化正权重。
Rubrics as Rewards 等评分项奖励按多条文字标准检查回答,再汇总为奖励各项分数汇总到整段回答,未区分哪部分文字接收哪项权重在多模态任务中,先生成包含图像事实的标准,再逐项标准化并定位回答前缀。
过程归因 / token 归因每一步或每个 token 的信号需要可靠地把证据与回答位置对齐用支持句的结束位置生成前缀遮罩;对齐失败时退回整段回答。

相较 OMR、MMR1、MM-Eureka 等视觉强化学习系统,这篇论文的重点不在扩大推理轨迹数据,而在改变奖励结构。结论应限制在这套 Qwen3-VL-8B 设置上。表格中其他模型的数据与预算不同,不能当成受控方法比较;自己的 answer-only 与 rubric 对照还存在 batch 差别,需一起读 Table 6。

3. Method:图像事实如何变成逐项训练信号

数据构建与训练时判分是两个阶段,使用的模型也不同。

原论文 Figure 2:50K 数据构建与逐项前缀奖励训练的完整流程
原论文 Figure 2。左半是筛选题目并用 Gemini-3-Pro 看图生成评分项;右半是当前模型生成多条回答、Qwen3-VL-235B-A22B 逐项判分后更新策略。图中的小字可点开放大。Shulin Tian 等,原论文,CC BY 4.0。

作者先在 OpenMMReasoner-SFT-874K 上做监督微调(SFT),得到固定的 πSFT 模型。这个模型存档用来反复生成候选回答并按正确性筛选,也分别初始化可训练的策略模型和固定不更新的参考模型;后者用于计算 KL 距离,也就是衡量训练后的回答分布偏离起点有多远。

随后,17 个视觉数据源经过基于规则的过滤。πSFT 对每个候选问题生成 8 次回答:

8 次回答中的正确数难度是否进入 50K
0困难保留
1-5中等保留
6-7简单保留
8过于简单丢弃

最终得到 18,121 个困难样本、25,306 个中等样本和 6,821 个简单样本。Gemini-3-Pro 根据图像、问题指令与参考回答,为每条样本生成 JSON 格式的评分项。总计 352,938 条,其中 VF 209,436、RC 101,369、IF 42,133。论文没有报告人工逐条审计或标注者一致性。

展开原论文 Figure 3 与 Table 4:数据来源和类别占比
原论文 Figure 3:50,248 个样本的十七个来源及 VF、RC、IF 评分项比例
原论文 Figure 3。内圈显示三类评分项的占比,外圈显示各数据源占比;VF 59.3% 是评分项占比,不是样本正确率。Shulin Tian 等,原论文,CC BY 4.0。
原论文 Table 4:十七个数据源各自进入训练集的样本数与比例,合计 50,248
原论文附录 Table 4,列出全部 17 个数据源及训练样本数,总数 50,248。Shulin Tian 等,原论文,CC BY 4.0。
展开原论文 Table 5:生成评分项时使用的完整提示词
原论文 Table 5:Gemini-3-Pro 生成视觉忠实度、推理一致性与指令遵循评分项的完整提示词
原论文附录 Table 5。这是作者交给评分项生成模型的提示词,其中要求每条标准独立判断,并给出类型与权重;不是训练时判分模型接收的输入。Shulin Tian 等,原论文,CC BY 4.0。

3.1 真实案例:AI2D 潮汐图

论文 Figure 1 把潮汐图与六条标准并排展示。下面再用公开数据行核对图中选项编号、各项权重及一个可复算的奖励。

原论文 Figure 1:AI2D 潮汐图、四个选项和六条评分标准
原论文 Figure 1,潮汐题及六条标准的完整原图;题图源自 AI2D,论文中的组合与标注由作者制作。(3) spring tide 是从零编号的第四个选项。Shulin Tian 等,原论文,论文 CC BY 4.0。

公开数据中的 spring tide 问题

  1. 题目来自 AI2D,公开数据行的 UID(唯一编号)为 chart_02501_3c2e6864。rs_score 记录固定模型 8 次回答中的正确次数;rs_score=0/8 表示 8 次都答错,因此样本被归为困难。评分项则由作者的数据构建流程调用 Gemini 自动生成,未报告这条样本的人工复核。
  2. 模型看到图像与问题 What is represented in this image?,即“图中表示什么?”;选项用从 0 开始的编号,(3) spring tide 是第四个选项,意为大潮,不是第三项。
  3. 六条标准分别要求识别太阳 A、地球 C 和两个位置的月球 D/G(VF, 5);识别它们沿虚线共线(VF, 5);认出 B/F 指向地球周围浅蓝色的潮汐隆起(VF, 4);解释引力叠加(RC, 4);选择大潮(IF, 5);区分小潮需要 90° 夹角(RC, 3)。这些字母和权重来自公开 JSONL 的原条目。
  4. 训练时,Qwen3-VL-235B-A22B 判分模型只看模型回答与其中一条文字标准,不看原图。Gemini-3-Pro 是此前看图生成标准的模型。待训练模型收到的是图像和题目,不是这六条标准。
  5. 每条标准独立得到“是”或“否”。只写 spring tide 可以答对最终选项,却未说明共线与引力;若写成“太阳和月球相对地球呈 90°,所以是大潮”,最终选项可能仍正确,但共线和引力解释项应失败。这两个回答是按公开规则构造的讲解示例,不是作者记录到的模型输出。

若模型只回答 spring tide,并且判分模型只把 Selection_of_Spring_Tide 这一项判为 1,则正评分项的权重总和是 26,Rrub=5/26≈0.1923。论文公式取 α=0.5,最终答案奖励为 1,因此语义奖励为:

R = 0.5 × 1 + 0.5 × 0.1923 ≈ 0.5962

这是根据公开数据行与公式重算的解释性过程,不是作者发布的真实奖励日志。判分模型是否会额外认定其他评分项成立,要看它对具体回答的判断。

3.2 一次更新:支持句怎样决定哪些 token 得到权重

当前 policy 对同一图像问题生成 12 个回答。答案判分调用比较最终答案与参考;评分项判分调用则逐条检查回答是否满足文字标准,并返回支持句。公开实现先等待答案等价性判断完成,再并发调用各条评分项的判分;不能把数据流画成两类判断同时开始。答案与评分项各自在同题回答组中标准化,而不是先混成一个分数再统一标准化。

用潮汐题的“识别三者共线”作一个解释性演算:假设 12 个回答有 6 个满足该项,二元分均值为 0.5、总体标准差为 0.5;满足者的该项标准化权重约 +1,未满足者约 −1。它的正项权重是 5/26,论文语义混合比例为 0.5,所以满足者在支持句及之前 token 的贡献约 0.5×(5/26)×1=0.0962;之后是零。这个假设分布只说明公式,不是测量结果。

A_t = α·z(R_answer) + (1−α)·Σ_j ρ_j·z(s_j)·1[t ≤ end_j]

z 是同题回答组中的减均值/除标准差操作,ρ_j 是固定正评分项比例,end_j 是支持句结束 token。前缀包括支持句之前的所有 token,不是只奖励那句话。 多个评分项会同时影响早期 token;也不会因某些项的前缀已结束而重新归一化其余权重。同组都满足或都不满足某项时,没有相对信号。

上式表示论文的核心机制;固定代码 6515819 还做了两项具体处理。答案用 PyTorch 的样本标准差,评分项用 NumPy 的总体标准差;计算方差时,前者把平方偏差总和除以 n−1,后者除以 n,随后再开平方。评分项只统计成功返回分数的回答,并在乘固定权重之前把标准分裁剪到 [−1,3]:若 12 次中只有一次满足某项,它的标准分约为 √11=3.317,实际按 3 计;若只有一次不满足,它约为 −√11,实际按 −1 计。这样会限制少数回答产生的极端权重,也说明上述六次满足的 ±1 演算不会触及裁剪边界。公开前缀模式另外给格式奖励留出 0.05,总权重与论文语义公式的差别见下文表格。

固定代码 6515819 先完全匹配、忽略大小写匹配,再用阈值 60 的模糊匹配定位。实现使用生成时的原 token ID 将字符跨度映射回 token,避免重新分词偏移。支持句无法可靠定位时,该项退回整段回答。判分请求默认最多尝试三次,失败后等待时间逐次翻倍;最终仍未拿到答案判断时,答案分记为 0。整段奖励模式把未成功判分的正项当作 0,前缀模式则跳过它的逐项标准化与权重贡献;两种模式都不缩小原来的正项权重分母。PITFALL 判分失败不会被当作确认违反,也不会触发取消语义奖励。

之后只更新 policy;来自同一 SFT 起点的独立参考模型冻结,用于 KL 正则。Table 6 的 KL 系数为 0.01,学习率 2e−6,最大回答 8,192 token,每题 12 次、最多遍历数据五次(五 epoch)。Rubric 组训练 batch 为 192,answer-only 为 480,mini-batch 也不同。因此虽然两组用同一数据和起点,不能把它说成所有训练条件完全相同。

展开原论文 Table 6:完整训练设置
原论文 Table 6:SFT、GRPO、奖励判分与并行训练的全部报告设置
原论文附录 Table 6。它给出了 batch、学习率、每题回答数、判分模型等条件;与公开启动脚本默认值的差别需要逐项核对。手机端可在图内横滑或点开放大。Shulin Tian 等,原论文,CC BY 4.0。

这个数据行还有一个分类问题:数据把“选择大潮”标成 IF。这个判断更接近答案正确性,不是典型的格式或指令约束,说明 VF、RC、IF 标签并不总能把三类能力分得很干净。

4. Experiments:评分项的收益与前缀定位的证据边界

相对只看答案的 GRPO,通用与知识类总体平均分提高 1.79 个百分点,视觉推理类提高 0.51 个百分点。

原论文 Table 1:通用视觉与知识推理基线、SFT、答案奖励 GRPO 和评分项 GRPO 的全部分数
原论文 Table 1,保留全部模型、训练数据列和单项结果。阅读本文时重点看最后三行:共同 SFT 起点为 64.93,只看答案的 GRPO 为 66.25,评分项 GRPO 为 68.04;这些数是四项的 Overall Avg.。手机端可在图内横滑或点开放大。Shulin Tian 等,原论文,CC BY 4.0。

Table 1 的总体平均分把 MMBench-Dev、MMMU Val、MMMU-Pro 和 MMMU-Pro V 四个指标等权平均。表中的单独知识类平均分只平均后三项:59.35→61.88,提高 2.53 个百分点;不要把它与总体平均的 66.25→68.04 混为一项。

评分项模型并非每项都更高。它在 MMBench-Dev 上比只看答案的模型低 0.43 个百分点,在 MathVerse V/O 上低 2.79,在 CharXiv 推理项上低 0.40;MathVision、DynaMath、WeMath 与 LogicVista 则上升。作者认为,多步视觉事实和推理若能被评分项覆盖,方法更容易奏效;对于要求符号答案完全准确或带有数据集特定规范的任务,评分项和最终评测指标可能并不一致。

原论文 Table 2:视觉数学、图表与逻辑推理基线和三种训练阶段的全部单项分数
原论文 Table 2,保留视觉推理各项与 Overall Avg.:61.94→62.45 是该表整体均分,不代表每个任务都提高;MathVerse V/O 与 CharXiv Reasoning 是反例。手机端可在图内横滑或点开放大。Shulin Tian 等,原论文,CC BY 4.0。
展开原论文 Figure 4:两条定性回答的逐步差异
原论文 Figure 4:历史人物计数与分段函数两道题中,答案奖励模型和评分项模型的回答比较
原论文 Figure 4。作者展示了人物计数和分段函数两个成功案例:只看最终答案的模型沿错误中间判断得到错答,评分项训练模型纠正了过程。这是定性样例,不能替代 Table 1/2 的总体统计。Shulin Tian 等,原论文,CC BY 4.0。

4.1 表 3 能否证明前缀定位有效?

论文的三档结果是:只看答案为 66.25;把评分项作用于整段回答为 67.74;逐项标准化并作用于前缀为 68.04。最后 0.30 个百分点同时包含“每项分别标准化”和“前缀定位”两处变化,论文自己也没有把两者拆开。

原论文 Table 3:答案奖励、整段评分项奖励、逐项前缀奖励三组消融结果 66.25、67.74、68.04
原论文 Table 3。Component + prefix 同时改变评分项标准化和奖励作用范围;67.74→68.04 的差额不能单独归给前缀定位。Shulin Tian 等,原论文,CC BY 4.0。

公开仓库还带来另一层复现风险。版本 6515819 的同一个官方启动脚本提供两种模式,默认使用不同的奖励权重:

公开模式答案奖励格式奖励评分项奖励权重作用范围
rubric-sequence0.100.100.80整段回答
rubric-prefix0.500.050.45逐项标准化后作用于前缀

论文附录 D.2 报告答案与评分项的语义奖励比例为 0.5/0.5,并将格式奖励另列。公开版本的变更记录说明,前缀模式的总奖励权重后来才统一为 1.0。由这些材料无法确认表 3 的整段回答模式是否使用了完全相同的奖励权重。因此,公开默认值不能直接证明 0.30 个百分点全部来自前缀定位。

5. Discussion:控制奖励权重,验证自动标注

最优先的实验是固定各项奖励的总权重,只改变奖励如何拆分以及哪些 token 接收权重。

至少需要四组:只看答案;答案加汇总后的评分项;评分项分别标准化但作用于整段回答;评分项分别标准化并作用于前缀。四组保持批大小、学习率、每题生成次数,以及答案/评分项/格式奖励的总权重一致。这样才能区分收益来自更多监督信息、每项独立标准化,还是前缀定位。

其次,应增加一组让判分模型看到原图的对照。文字标准可以逐项核查,但自动标注一旦写错,当前判分模型无法回到图像纠正。可以在人类抽样审核过的子集上,比较只看文字和同时看图的判分准确率、训练收益与实际成本;论文没有给出这两种判分方式的受控成本比较,不能直接说前者更便宜。

最后,需要报告自动评分项的质量:随机抽样覆盖每个数据来源、难度与评分项类型,记录事实是否正确、一条评分项是否只表达一个判断、类型标签是否合适、有无遗漏,以及人类标注者是否一致。50K 数据规模本身不能回答这些问题。

6. Conclusion:支持细项奖励,但尚未隔离定位收益

它给出了完整、可运行的细粒度视觉强化学习流程;目前的证据更支持“评分项奖励有增益”,还不足以单独证明前缀定位是主要原因。

公开的数据集、奖励模块、VERL 修改补丁、评测程序与测试,让后续研究者可以检查训练信号怎样落到 token 上。最值得复用的是逐项核查视觉事实和推理的办法;最需要补证据的是自动生成标准的准确性,以及在相同权重、batch 和学习率下前缀定位本身的作用。

主要来源:论文 v1 全文与附录、V-Rubrics 官方仓库版本 6515819、V-Rubrics 50K 公开数据行 chart_02501_3c2e6864。代码与数据检查日期:2026-10-06;论文与图表复读日期:2026-10-20。

留言

留言正在载入…

搜文章