你有没有玩过那种"盲评打分"的游戏，主持人让你给一道菜打1到5分，但没告诉你评分标准是什么。第一道菜你觉得还不错，打了4分。第二道菜其实更好吃，但你已经把4分用出去了，怕后面没有更好吃的菜可以打5分，于是也打了4分。结果打到最后，你发现自己九成的分数都堆在4分附近,根本分不出菜品之间的真实差距。
(相关资料图)
这就是当下AI视频生成模型评分系统正在发生的事。
**问题不是AI看不懂视频，而是AI不知道怎么给视频打分**
随着Sora、Wan这类视频生成模型越来越强,研究者们迫切需要一个靠谱的裁判,用强化学习的方式告诉生成模型"这个视频好在哪、差在哪",这样模型才能越训越好。这个裁判在学术圈有个名字。
奖励模型*：Reward Model，简称RM，是强化学习框架里负责给生成结果打分的模型，分数越高代表越符合人类偏好,模型会根据这个分数调整自己的生成策略。
但现实是,现在的视频奖励模型普遍存在一个诡异的毛病。你拿一批视频去打分,发现绝大多数分数都挤在4到5分这个窄窄的区间里,明明有的视频镜头语言混乱、人物动作诡异,却还是被打了4.5分。换一批视频,换一个提示词,同一个模型给出的分数标准又变了,同样质量的视频这次可能只给3分。
论文作者把这个现象起了个名字,叫标量漂移。
标量漂移*：Scalar Drift，指AI打分模型在给视频评分时,出现的两种不稳定现象。一种是分数范围塌缩，也就是所有分数都挤在一个很窄的高分区间里，好视频和差视频的分数差距被压得很小；另一种是分数在不同提示词或上下文下大幅波动，同样质量的内容换个问法分数就变了。
为什么会这样？论文给出的解释很直接：视频质量本身是主观的、多维度的，你让一个AI模型直接把这么复杂的东西压缩成一个1到5的数字，却不给它任何明确的评判标准，它自然会走捷径,要么统一往高分区间靠拢显得"安全",要么被不同的提示词牵着鼻子走,分数忽高忽低。
**人类专业评委是怎么打分的**
论文的研究者们从一个很朴素的观察出发：真正专业的人类评委,几乎从来不会拿到一个作品就直接说"这个打4分"。
他们会先把评判任务拆解成具体的标准，比如评价一段表演，会先列出"台词记忆是否准确""情绪表达是否到位""肢体动作是否自然"这几个维度,然后针对每个维度单独打分,最后加权汇总。这套流程给评分提供了一个稳定的参照系,不管换了哪个作品、哪个评委,评分的尺度都不会轻易漂移。
这就好比你去考驾照的科目二,考官不是看你开一圈车然后凭感觉给你打个分,而是有一张具体的评分表：倒车入库压线扣多少分,侧方停车超时扣多少分,起步熄火扣多少分。每一项标准都写得清清楚楚,不同考官、不同学员,评分的尺度都能保持一致。如果没有这张表,只靠考官"感觉这个学员开得还行,给个及格分",那不同考官打出来的分数差异会大到没法用。
基于这个洞察,研究团队提出了RewardVerse。
RewardVerse*：本论文提出的视频奖励模型框架，核心思路是在"评判问题"和"最终打分"之间插入一个动态生成的评分标准表，也就是rubric，让AI先明确评判维度和权重，再据此打分，而不是直接凭感觉给出一个数字。
**动态评分表：先定标准，再打分**
RewardVerse的核心设计,是把整个打分过程拆成两步。
第一步,让模型先当一个"出题人"。给定一个评判维度（比如"叙事逻辑"）和视频对应的文本提示,模型会生成一份评分表,里面包含几个具体的评判主题、每个主题对应的权重、以及打分时需要注意的具体细节提示。注意,这一步模型是看不到视频本身的,它只根据提示词和评判维度来生成标准。
这个设计很关键。如果让模型同时看到视频再生成评分标准,很容易出现"看菜下碟"的问题,比如遇到一个明显质量很差的视频,模型可能会不自觉地放宽标准,让它显得没那么差,这样评分标准的客观性就被破坏了。就像考试出题人如果提前看过某个学生的答卷再出题,这场考试的公平性就没了。
第二步,让模型切换角色当"阅卷人"，拿着刚才生成的评分表,对视频逐项打分,再按权重汇总成最终分数。这一步的关键创新在于打分的方式不是让模型直接说"这个视频打4分",而是采用了一种叫软逻辑的读出机制。
软逻辑读出*：Soft-Logits Readout，指的是不让模型直接生成文字形式的分数，而是读取模型在预测"1"到"5"这几个数字token时的概率分布，然后按概率加权算出一个连续的期望值作为最终分数，比如模型认为打4分和5分的概率差不多，那么读出的分数可能是4.5而不是简单的4或5。
为什么要这么绕一圈？论文里做了一个很扎实的对照实验来说明这件事。研究者们用同一个模型，测试了四种打分方式：不给评分表、直接输出文字分数；不给评分表、用软逻辑读出分数；给评分表、用软逻辑读出分数；给评分表、直接输出文字分数。结果显示，只给评分表不改变打分方式，模型输出的分数还是有三分之二会打平局，因为文字生成本身有一种惯性,倾向于说"挺好的"这种高分表述。只有把评分表和软逻辑读出结合起来,分数的标准差才从0.258一下子提升到0.471，提升了82.6%，分数的分布才真正被撑开，能够反映出视频之间实际存在的质量差异。
这就像你让一个人用文字描述"这道菜好吃程度",他大概率会说"挺好吃的""还不错""确实可以",这些描述天然就聚在中间偏上的区间，很难拉开差距。但如果你让他在心里默默给"咸淡""火候""摆盘"这几项各打一个分数再汇总,哪怕他嘴上还是习惯说"还不错",最后算出来的综合分数也能体现出细微的差异。软逻辑读出干的就是这件事，绕过语言表达的惰性，直接从模型内部的概率倾向里挖出真实的判断差异。
**两阶段训练：RGPO是怎么把这套系统真正调教好的**
不过评分表加软逻辑读出只是解决了一半的问题。论文里坦率地承认，光靠这套机制打分,分数分布确实被撑开了,但和真实的人类打分相比,还是有明显偏差。测试更强的Gemini-3.1-Pro模型时也发现类似问题：不用评分表时,模型系统性地低估视频质量,平均比人类打分低了0.398分；用了评分表之后相关性确实提升了，但低估的问题反而更严重了，达到了0.584分的偏差。
这说明单纯靠提示词层面的"给评分表"这种零样本操作,没法根治问题。模型内部还是有一套自己的评分惯性,这套惯性不会因为你给了一张评分表就自动消失。
于是论文提出了第二个核心贡献，一套叫RGPO的两阶段训练算法。
RGPO*：Rubric-Guided Policy Optimization，即评分表引导的策略优化，是本论文设计的两阶段强化学习训练算法。第一阶段先用固定的种子评分表训练模型学会稳定打分，第二阶段再让模型自己学习生成动态评分表，同时继续校准打分的准确性。
第一阶段做的事情，是先不急着让模型自己生成评分表，而是用一套预先构建好的"种子评分表"去训练打分能力。这套种子评分表是怎么来的？研究者用了一个很巧妙的自我进化流程：先让一个强大的模型（Gemini-3.1-Pro）根据一对"好视频"和"差视频"草拟一份评分表，解释为什么好视频更好；然后用这份草拟的评分表去给两个视频打分，检验是否真的能打出"好视频分数更高"这个结果；如果检验失败，就让模型根据错误反馈修改评分表，最多修改五轮。这个过程反复迭代后,筛选出最具代表性的几份评分表作为种子。
有了稳定的种子评分表之后，第一阶段用GRPO这种策略优化算法去训练打分能力，同时加入一个"人类对齐边际校准"损失函数，专门约束模型打出的分数差距要跟人类标注的分数差距对齐，而不只是保证排序正确。这一步为什么重要？因为光让模型学会"好视频打分高于差视频"这个相对关系是不够的，如果不校准分数差距的绝对大小，模型完全可能通过把所有分数都拉到极端来"作弊"，比如好视频给5分差视频给1分，虽然排序对了，但这种夸张的打分方式和真实的人类评分尺度是脱节的。
这就好比训练一个新手品酒师，如果只告诉他"这瓶比那瓶好"，他确实能学会分辨优劣，但可能会把所有比较都夸张成"天壤之别"。真正专业的品酒师，不仅要分得清好坏，还得知道好坏之间的差距究竟有多大，这瓶和那瓶其实只差半分，而不是相差四分。校准损失干的正是这件事，把模型的判断幅度也拉回到人类的真实感知尺度上。
第二阶段是整个RGPO最巧妙的地方。这一步开始让模型自己学习生成动态评分表，不再依赖固定的种子表。但这里有一个很容易踩的坑：如果直接用"打分差距越大奖励越高"这种信号去训练打分模型，模型可能会通过故意拉大好坏视频的分数差来刷奖励，而不是真正提升打分的准确度。
论文的解决方式很聪明，让生成评分表的角色和打分的角色拿到不一样的训练信号。生成评分表的角色，根据它生成的评分表能否有效区分好坏视频来获得奖励，这个奖励里还额外加入了格式合规检查和与种子主题的语义相似度约束，防止生成的评分表跑偏。而打分角色不直接从这个相对奖励里获得梯度更新，而是继续被人类对齐的边际校准损失约束，确保打分的绝对幅度始终锚定在人类的判断尺度上。
这种"分工负责"的设计，本质上是在防止系统内部出现自我强化的漏洞，让生成标准这件事去追求"标准有效"，让打分这件事去追求"分数真实"，两者互相牵制，谁也不能单方面钻空子。
**实验结果：30对数据就能打赢用海量数据训练的对手**
论文在两个基准上验证了这套方法。一个是EvalVerse，一个覆盖16个精细评判维度的视频生成测评集，包括场景、动作、镜头语言、色彩、材质、光影、情感、多镜头剪辑逻辑等等。另一个是VideoGen-RewardBench（简称VGRB），一个超过2.65万视频对的大规模外部成对偏好基准。
结果相当亮眼。RewardVerse在16个维度中的14个维度上取得了最高的PLCC相关性得分，在一些认知和时序推理要求较高的维度上优势尤其明显，比如逻辑维度上PLCC达到0.750，而排名第二的模型只有0.593；动作维度上是0.566对0.390。要知道，其他一些外部奖励模型在这些精细维度上表现得相当糟糕，比如VideoScore-v1.1在逻辑维度上的PLCC竟然是负的0.245，说明它的打分跟人类判断基本是反着来的。
更让人意外的是训练数据量。RewardVerse每个维度只用了30对偏好数据，16个维度加起来总共480对，这个数据规模放在深度学习的世界里几乎可以忽略不计。但在VGRB的视觉质量测试集上，它依然超过了当前最强的非oracle基线VisionReward7.1个百分点，在完全没见过的文本对齐维度上，它的准确率也达到了0.471（含平局）和0.623（不含平局），是所有非oracle模型里最高的。
这里有个细节值得说一下,论文里专门标注了一个叫VideoReward的模型是oracle上限，因为VGRB这个测试集本身就是VideoReward的训练数据衍生出来的，所以它天然占优，不能算作公平对比对象，但即便如此，RewardVerse和这个oracle之间的差距也被大幅缩小了。
3年前，Liu等人发表的VideoReward论文通过在大规模人类偏好数据上训练判别式模型，率先把人类反馈引入视频生成的奖励建模，成为这个领域的重要基准。而更早一年，He等人的VideoScore尝试用回归的方式让模型直接输出连续质量分数。这两条路线代表了视频奖励建模的两种主流范式，一种是判别式打分，一种是生成式打分，但它们都没有解决评分标准本身缺失的问题。RewardVerse是在这两条路线之外，第一次把"评分标准"本身变成一个可学习、可优化的中间表示，这个思路上的转变才是它能用极少数据取得高效果的根本原因。
**消融实验：拆掉哪块积木最要命**
论文还做了细致的消融实验，来验证RGPO里每个设计到底有没有用。去掉第一阶段的打分校准热身，PLCC直接从0.530掉到0.431，掉了将近10个百分点，说明如果不先用固定评分表把打分能力校准稳定，直接让模型同时学生成标准和打分，训练会陷入混乱,一个不靠谱的评分表生成器会持续干扰打分器的学习，就像两个还没学会配合的舞伴，一个乱跳一个也跟着乱。
去掉第二阶段的联合优化，只用固定的种子评分表，PLCC降到0.456，说明让评分表跟着不同的提示词动态调整确实有额外的价值，静态标准没办法覆盖所有场景的细微差异。论文里还给了一个很生动的例子：在评价视觉质量这种技术性维度时，模型生成的评分细节会保持比较抽象，比如"颜色饱和度是否一致";但在评价角色一致性这种和具体情节绑定的维度时，评分细节会精确落到提示词里的具体实体上，比如专门去检查"人物01身上那件带金色纹样的浅黄色长袍是否在多个镜头里保持不变"。这种自适应的颗粒度调整，是固定评分表完全做不到的。
论文还测试了在同样480对数据预算下，完全不用评分表、直接训练打分能力的方案，结果只比零样本状态提升了一点点，远远落后于完整的RGPO。这直接证明了评分表这个中间表示对于低数据场景下的训练效率有多重要，没有它，模型很难在这么少的数据里学出稳定的判断标准。
**下游验证：这套打分系统真的能训出更好的视频模型吗**
论文最后做了一个很实际的验证，用RewardVerse作为奖励信号，去强化学习微调一个真实的视频生成模型Wan-2.2-A14B，专门优化视觉质量这一个维度。结果显示，用RewardVerse训练后，图像质量指标从0.640提升到0.653，而且VBench整体质量分数几乎没有下降（0.808到0.809），文本对齐分数还提升了（0.428到0.446）。
作为对比，用VideoReward作为奖励信号训练同一个模型，图像质量也提升到了0.648，但VBench整体质量分数和文本对齐分数反而都下降了，分别掉到0.804和0.392。这说明一个只优化单一目标却导致其他能力全面滑坡的奖励模型，很可能正在被生成模型"钻空子"，也就是常说的奖励作弊现象。
奖励作弊*：Reward Hacking，指生成模型在强化学习过程中找到某种取巧的方式，让奖励模型给出高分，但实际上并没有真正提升人类关心的整体质量，甚至可能损害了其他维度的表现。
RewardVerse在这次实测里表现得更稳，这也从侧面印证了标量漂移问题不只是一个评分好看不好看的学术指标，它真的会影响到下游强化学习训练出来的模型质量。如果奖励信号本身就不稳定、容易被钻空子，那用这个信号去训练视频生成模型,最后训出来的结果也会带着这种不稳定性,甚至被带偏。
营业执照公示信息