TRoVe: Discovering Error-Inducing Static Feature Biases in Temporal Vision-Language Models¶

基本信息¶

arXiv: 2512.01048
会议: NeurIPS 2025
作者: Maya Varma, Jean-Benoit Delbrouck, Sophie Ostmeier, Akshay Chaudhari, Curtis Langlotz
代码: https://github.com/Stanford-AIMI/TRoVe
领域: Temporal VLM / Bias Discovery / Model Diagnostics

一句话总结¶

TRoVe 提出一个自动化诊断框架，用于发现 temporal VLM 在时序理解任务中错误依赖的静态特征偏置；它通过从验证集提取候选静态特征，并同时评估这些特征对错误率的影响与模型对其依赖程度，在 101 个带偏置真值标注的 temporal VLM 上较最强基线提升 28.6%，还能进一步辅助 test-time 改善模型表现。

背景与动机¶

Temporal VLM 的目标应是理解图像序列中的变化，但现实中模型常走捷径： - 抓住背景、器械、物体存在性等静态线索； - 忽视真正决定任务标签的动态变化； - 在分布变化时产生系统性错误。

这种 static feature bias 是 temporal understanding 里很隐蔽但很危险的问题，尤其在医疗、监控等高风险应用中更突出。

核心问题¶

如何自动、定量地识别 temporal VLM 学到了哪些“导致错误的静态偏置”，并区分这些偏置是否真正驱动模型错误？

方法详解¶

1. 候选静态特征提取¶

给定训练好的 temporal VLM 和带标注验证集，TRoVe 从数据中抽取可能的静态特征候选，例如： - 背景模式； - 静态对象存在； - 设备/场景属性。

2. 双维度评分¶

每个候选特征会从两方面打分： - 对分类错误的影响程度； - 模型做预测时对该特征的依赖程度。

只有兼具“影响错误”和“被模型依赖”的特征，才是真正高风险的 error-inducing bias。

3. 定量评测框架¶

作者额外构建了包含 101 个 temporal VLM 和静态偏置真值标注的评测体系，用于严谨验证偏置发现能力。

4. 应用到真实模型¶

TRoVe 被应用到 7 个现成 VLM 和 2 类时序理解任务，能够发掘此前未知的 static feature biases，并证明掌握这些偏置信息可以帮助 test-time 提升性能。

实验结论¶

TRoVe 相比最强基线在偏置识别上提升 28.6%；
能有效识别 error-inducing static feature biases；
对实际 off-the-shelf temporal VLM 有直接诊断和改进价值。

亮点¶

问题切中要害：temporal VLM 的 shortcut 问题长期存在但缺少自动化诊断工具。
评价框架扎实：不是只展示案例，而是构建了 101 模型的定量 benchmark。
诊断到改进闭环：发现偏置后还能辅助 test-time 改善。
部署价值高：特别适合高风险时序视觉应用前的风险审计。

局限性¶

依赖验证集及偏置候选抽取质量。
偏置发现主要服务分类类 temporal tasks，对生成式 Video-LLM 适配还需扩展。
“偏置已发现”不等于“偏置已根除”，仍需后续干预机制。

与相关工作的对比¶

相比 shortcut learning 现象分析：TRoVe 给出自动化、可量化发现方法。
相比普通 feature attribution：TRoVe 更强调“是否诱发错误”这一因果相关目标。
相比时序 VLM benchmark：TRoVe更像诊断工具链，而非只做被动测评。

启发¶

可将 TRoVe 思路迁移到 Video-LLM hallucination 与 grounding failure 分析。
对 agent 感知模块的安全评估也有直接意义。
与反偏置训练、数据重加权或 counterfactual augmentation 结合会很有价值。

评分¶

新颖性：★★★★☆
技术深度：★★★★☆
实验完整度：★★★★★
实用价值：★★★★★