AbductiveMLLM: Boosting Visual Abductive Reasoning Within MLLMs

会议: AAAI 2026 (Oral)
arXiv: 2601.02771v1
代码: https://github.com/ChangPtR/AbdMLLM
领域: 视频理解 / 多模态推理
关键词: 视觉溯因推理, MLLM, 扩散模型, 因果对比学习, 双模态思维

一句话总结

模仿人类的"语言溯因+图像想象"双模式认知，提出AbductiveMLLM，通过Reasoner(因果感知假设生成+筛选)和Imaginer(扩散模型引导的图像想象)两个组件端到端联合训练，在VAR和YouCookII两个benchmark上显著超越传统方法和通用MLLM，设置新的SOTA。

背景与动机

视觉溯因推理(VAR)要求AI根据不完整的视觉观察推断最可能的解释，是人类认知的核心能力。人类做溯因推理时会同时用两种方式：(1)语言溯因——"街道湿了但屋顶干着→可能是洒水车"；(2)图像想象——脑中构建洒水车在路上洒水的画面来验证。当前MLLM虽然在VQA等任务上表现出色，但在溯因推理上远不及人类。现有方法都只做语言模式的溯因，完全忽略了图像想象的辅助作用。

核心问题

如何增强MLLM的溯因推理能力？核心挑战：(1)假设空间巨大——给定不完整观察，可能的解释是无限的，需要有效缩小搜索空间；(2)缺乏视觉想象——纯语言推理容易生成表面合理但因果上不相关的解释；(3)需要实现语言和想象两种模式的协作。

方法详解

整体框架

输入：包含T个事件的视频序列，其中一个事件H被遮蔽 → Reasoner组件生成并筛选语言假设，引导MLLM(Qwen2VL-7B)做语言溯因 → Imaginer组件基于MLLM输出嵌入和视觉观察，用扩散模型"想象"缺失事件对应的画面作为补充引导 → 两个组件端到端联合优化 → 输出：对缺失事件的语言解释。

关键设计

1. Reasoner - 因果感知假设生成(CHG): 分两步：(a)用GPT-4o-mini在高温度(1.4)下多次生成L个候选假设(仅基于视频caption，不看视频)——提供多样性；(b)因果对比学习筛选——训练视觉编码器Φ_V和文本编码器Φ_T，将观察事件的"前因"和"后果"编码到因果空间，用NT-Xent loss使"前因+正确假设+后果"的三元组对齐，排斥错误假设。推理时对每个候选假设计算因果相关性分数，选top-k=3个传给MLLM。
2. Imaginer - 图像想象组件: 在Stable Diffusion v1.4基础上加三种轻量适配器——V-Adapter(视觉交叉注意力，注入观察视频的local-global混合表示)、T-Adapter(时序卷积，建模帧间时序依赖)、F-Adapter(FFN并行适配器，增强空间特征)。以MLLM的输出嵌入+视觉条件作为输入，通过latent denoising loss引导模型收敛到视觉合理的场景——不是为生成高质量视频，而是作为反馈信号提升语言溯因的质量。
3. 端到端联合训练: 两阶段——Stage I分别预训练MLLM(LoRA微调, L_CE)和扩散模型(L_Diffusion+Min-SNR)；Stage II联合微调L=L_CE + α·L_Diffusion (α=5)，让Imaginer的梯度回传影响Reasoner的推理质量。

损失函数 / 训练策略

• 因果对比学习: NT-Xent loss，正样本为GT解释，负样本由GPT-4o-mini生成100个hard negatives
• 端到端loss: L = L_CE + 5·L_Diffusion + Min-SNR weighting
• 两阶段训练：Stage I各2 epochs + Stage II联合1 epoch
• 4x A800 GPU

实验关键数据

数据集	指标	AbductiveMLLM	最佳传统方法(UPD-Trans)	Qwen2VL-7B微调	GPT-4o-mini
VAR	CIDEr	57.04	41.66 (+15.38)	50.82 (+6.22)	29.25
VAR	ROUGE	27.95	25.62 (+2.33)	27.11 (+0.84)	21.61
YouCookII	CIDEr	52.90	-	43.64 (+9.26)	11.03
YouCookII	ROUGE	29.97	-	28.55 (+1.42)	22.01

人类基准: VAR上CIDEr=147.79，AI最佳(本文)仅57.04，差距仍然巨大。

消融实验要点

• CHG单独贡献: +2.78 CIDEr (50.82→53.60)，主要提升词级准确性(BLEU@4)
• Imaginer单独贡献: +4.18 CIDEr (50.82→55.00)，更多提升语义质量(METEOR, ROUGE, BERT-S)
• 联合训练>单独之和: 联合57.04 > 53.60+55.00的平均，说明两条路线有互补效应
• k=3最优: k=0(55.00) < k=3(57.04) > k=6(54.89) > k=10(53.66)，假设太多反而干扰
• 三个Adapter都有贡献: 去掉V-Adapter(-2.53 CIDEr)、T-Adapter(-2.05)、F-Adapter(-2.52)

亮点

• 认知科学启发的方法设计 — 首次将"语言溯因+图像想象"的人类认知双模式引入MLLM，不是为了生成图像而是用图像想象来辅助语言推理，角度新颖
• 因果对比学习的设计 — 不是简单的文本-视频匹配，而是"前因+假设+后果"的三元组因果对齐，比superficial similarity更准确
• 扩散模型作为推理辅助 — Imaginer的设计范式(不追求生成质量，只用denoising loss做引导)值得学习，可迁移到其他需要多模态推理的任务

局限性 / 可改进方向

• 与人类的gap仍然巨大(CIDEr 57 vs 148)，说明当前方法本质上还是模式匹配而非真正的因果推理
• 依赖GPT-4o-mini生成假设和负样本，成本较高且引入了外部模型偏差
• Imaginer基于SD v1.4生成256×256图像，生成质量受限，换用更强的视频生成模型可能进一步提升
• 仅在VAR和YouCookII两个benchmark验证，泛化到开放域场景未验证
• 可探索方向：用video generation model(Sora/Veo)替代SD做更强的pictorial abduction

与相关工作的对比

与REASONER等传统VAR方法相比，AbductiveMLLM基于MLLM backbone天然拥有更强的世界知识。与HiProbe等MLLM内部分析方法不同，本文是做推理增强而非特征选择。与一般的MLLM微调(Qwen2VL-7B FT)相比，因果假设筛选+图像想象的双重增强带来了约12%的CIDEr提升。

启发与关联

• "扩散模型作为推理辅助"的范式 → 可推广到其他MLLM推理任务(如VQA的complex reasoning)
• 因果对比学习 → 可迁移到video understanding、anomaly detection等需要因果推理的场景
• "语言+想象"双模式 → 可作为一种通用的MLLM推理增强技术

评分

• 新颖性: ⭐⭐⭐⭐⭐ 认知科学启发的双模态溯因推理，概念新颖且有说服力
• 实验充分度: ⭐⭐⭐⭐ 两个数据集+完整消融+定性分析，但缺少更多benchmark
• 写作质量: ⭐⭐⭐⭐⭐ 动机清晰、formulation严谨、图文并茂
• 价值: ⭐⭐⭐⭐ 开创了MLLM溯因推理增强的新方向