SLVMEval: Synthetic Meta Evaluation Benchmark for Text-to-Long Video Generation¶

会议: CVPR 2026
arXiv: 2603.29186
代码: https://slvmeval.github.io/
领域: 视频理解 / 评估基准
关键词: 长视频生成评估, 元评估基准, 文本到视频, 合成退化, VLM-as-a-judge

一句话总结¶

提出SLVMEval元评估基准，通过从密集视频描述数据集合成受控退化的"高质量vs低质量"视频对（最长约3小时），测试现有T2V评估系统识别长视频质量差异的能力，发现人类在10个维度上达84.7%-96.8%准确率，而现有自动评估系统在9/10维度上落后于人类。

研究背景与动机¶

领域现状：文本到视频（T2V）模型正从短视频（几秒）向长视频（数分钟到数小时）发展，StreamingT2V、Phenaki等系统理论上可生成任意长视频。
现有痛点：VideoScore等常用评估指标原本为几秒到几十秒的短视频设计，直接用于长视频评估存在长度不匹配问题。VBench、UVE等元评估基准也仅覆盖约10秒视频，无法验证评估指标在长视频上是否可靠。
核心矛盾：长视频生成正成为前沿方向，但缺乏验证评估系统是否具备长视频评估基本能力的测试环境。
本文目标：构建一个专门针对长视频的元评估基准，测试现有评估系统是否至少具备人类容易做到的长视频质量判断能力。
切入角度：从密集视频描述数据集出发，对原始视频施加受控退化（降低对比度、降分辨率、删除片段等），构建对照实验式的视频对，用众包验证退化的可感知性。
核心 idea：通过合成可控退化的长视频对，测试"人类轻松区分而自动系统做不到"的评估瓶颈。

方法详解¶

整体框架¶

从Vript密集视频描述数据集采样长视频作为高质量视频\(v^+\)，针对10个评估维度分别施加退化操作生成低质量视频\(v^-\)，再经众包标注过滤确保退化可感知。评估时给自动系统或人类评估者呈现\((p, \{v^+, v^-\})\)对，测量其正确识别高质量视频的准确率。

关键设计¶

10维度退化操作设计:
- 功能：全面覆盖视频质量和视频-文本一致性两大类评估能力
- 核心思路：视频质量类——美学（降低对比度）、技术质量（降分辨率）、外观风格（OpenCV风格迁移为油画/漫画等）、背景一致性（用rembg去背景+随机风景替换）。视频-文本一致性类——时序流（打乱5个连续片段顺序）、完整性（随机删除5个片段）、物体完整性（用GroundingDINO定位+Stable Diffusion Inpainting擦除prompt中提到的物体）、空间关系（水平翻转含左右描述的片段）、动态程度（用中间帧替换含运动描述的片段使其静止化）、颜色（用Qwen-Image-Edit修改特定物体颜色）
- 设计动机：每个维度的退化只影响该维度的质量，其余保持不变，实现精细粒度的能力分解测试
受控退化应用策略 (Algorithm 1):
- 功能：在长视频中选择性退化部分片段，保持整体自然性
- 核心思路：随机选取视频中的5个片段（clip），仅对选中片段施加退化，其余保持原样。这种局部退化更接近真实T2V生成中的质量不一致现象。用Qwen3-8B识别含相关语义的片段（如颜色提及、空间关系提及）
- 设计动机：全局退化过于简单且不真实，局部退化考验评估系统在长视频中定位和聚合质量信号的能力
众包过滤验证:
- 功能：确保每个退化视频对中的质量差异对人类清晰可感知
- 核心思路：5名众包工作者对每对视频在A（全部片段退化成功）/B（部分成功）/C（完全失败）三档评分。过滤条件为：(1) 无任何C评分，(2) A评分数多于B评分数。过滤后保留3,932个视频对
- 设计动机：确保基准的有效性——若退化不可感知则无法作为有效测试用例。同时发现过滤前后评估结果高度相关，暗示未来可不依赖昂贵人工过滤扩展基准

损失函数 / 训练策略¶

SLVMEval是评估基准而非训练方法。评估系统的主要对比包括： - Video-based VLM-as-a-judge：GPT-5、GPT-5-mini、Qwen3-VL-235B直接看视频对判断 - Text-based VLM-as-a-judge：先用VLM对视频生成描述，再用LM比较描述与prompt的匹配度 - CLIPScore：计算各片段中心帧与prompt的CLIP相似度平均值 - VideoScore v1.1：基于VLM+回归头的质量评分

实验关键数据¶

主实验¶

各评估系统准确率（%）对比（选取代表性维度）：

系统	美学	技术质量	物体完整性	时序流	动态程度
GPT-5 (video)	90.1	85.8	72.0	50.3	35.3
GPT-5 (text)	74.8	46.2	68.0	43.5	43.1
CLIPScore	56.4	72.3	76.0	50.5	51.7
VideoScore	52.5	33.8	66.0	46.3	48.6
人类	96.5	91.8	86.6	86.6	95.9

消融实验¶

人工过滤前后评估系统准确率的Pearson相关性：

维度	\(\rho_P\) 相关系数
美学	高相关
技术质量	高相关
物体完整性	高相关

（所有10个维度过滤前后均呈强正相关，证明无过滤也可产出可靠基准）

视频时长与准确率的关系：

趋势	说明
大多数维度	视频越长，自动评估系统准确率越低
动态程度	相关性弱（本身准确率就低，短视频也失败）

关键发现¶

语义+时序维度是最大瓶颈：动态程度（GPT-5仅35.3%，低于50%随机）、时序流（50.3%≈随机）、完整性（51.3%≈随机），说明当前评估系统无法跨帧推理运动和事件顺序
GPT-5 video-based在视觉质量维度最强：美学90.1%、背景一致性98.9%，但仍低于人类
CLIPScore在物体完整性和完整性上有意外优势：CLIP的对比预训练使其对prompt中提到的物体消失敏感（76.0%物体完整性排第二），但逐帧独立处理使其在时序/动态维度≈随机
text-based比video-based在某些维度更好：Qwen3的text-based在背景一致性上比video-based高23.3个点，在外观风格上高17.1个点，说明将视频投射到文本空间可能有利于某些评估
VideoScore在多个维度低于50%：其预定义的5个评估维度与本文定义不完全对应，导致判断不一致
数据集统计：3,932个视频对，平均时长1141秒（约19分钟），最长10,486秒（约2小时54分钟），prompt平均长度57,884字符

亮点与洞察¶

"最低要求"测试的设计哲学：不问评估系统能做什么高级判断，只问它能否做到人类觉得很简单的事情——这种"下限测试"精准暴露了现有系统的根本缺陷，比追求更复杂的测试更有诊断价值
合成退化的可扩展性：验证了无需昂贵人工过滤就能扩展基准（过滤前后高相关），降低了构建大规模T2LV评估基准的门槛
首次将评估基准扩展到小时级视频：最长视频约3小时，远超现有基准的几秒-几十秒范围，填补了长视频评估验证的空白

局限与展望¶

退化操作是人工设计的，可能无法完全模拟真实T2V生成中的质量问题（如语义漂移、角色不一致等）
源视频来自真实视频而非AI生成视频，真实T2V的artifacts（如闪烁、形变）未被覆盖
仅在5个片段上施加退化，退化密度对评估难度的影响未充分探索
GPT-5等大模型因上下文长度限制无法处理全部帧，丢失了帧间细节
Spearman相关系数的p值在0.05水平未显著，视频时长效应作为"一般趋势"而非强效应

评分¶

新颖性: ⭐⭐⭐⭐ 首个面向长视频的T2V元评估基准，合成退化+众包过滤的方法论有参考价值
实验充分度: ⭐⭐⭐⭐ 8个评估系统×10个维度的全面对比，加上人类基线和时长分析
写作质量: ⭐⭐⭐⭐ 框架定义清晰，Algorithm 1简洁易懂，但部分CJK编码问题影响阅读
价值: ⭐⭐⭐⭐ 精准揭示了长视频评估的瓶颈（语义+时序维度），为社区指出了明确的研究方向