跳转至

UniGame: Turning a Unified Multimodal Model Into Its Own Adversary

会议: CVPR 2026
arXiv: 2511.19413
代码: https://github.com/AIFrontierLab/TorchUMM
领域: 多模态VLM
关键词: 统一多模态模型, 自对抗训练, 一致性, 后训练, 极小极大优化

一句话总结

UniGame 提出首个针对统一多模态模型（UMM）的自对抗后训练框架，通过在共享视觉 token 接口安装轻量扰动器，让生成分支主动创造语义一致的对抗样本来挑战理解分支，形成极小极大自博弈，显著提升一致性 (+4.6%)、理解 (+3.6%)、生成和鲁棒性。

研究背景与动机

  1. 领域现状：统一多模态模型（UMM，如 Janus-Pro、Emu3、BLIP3-o）用一个架构同时做视觉理解和图像生成，通过共享语言模型骨干和视觉 tokenizer-decoder 栈实现。标准后训练流程是 SFT 监督微调。

  2. 现有痛点：UMM 存在理解和生成路径之间的结构性不一致——理解偏好紧凑嵌入，生成偏好重建丰富的表示。这种矛盾导致语义不匹配（回答正确但生成不出对应图像）、能力差距（某一路径更难提升）和特征紧凑度冲突。在分布外和对抗场景下问题更严重。

  3. 核心矛盾：现有后训练方法（重建类如 RecA、奖励类如 T2I-R1）都在固定数据分布上优化代理目标，没有显式约束两个耦合分支，只是在舒适区内打磨行为，无法真正扩展共享生成流形。嵌入空间的对抗扰动容易产生离流形的无意义样本。

  4. 本文目标 能否让 UMM 从内部发现并纠正自身的不一致性？即利用生成分支作为理解分支的主动对手，让模型成为自己的对手。

  5. 切入角度：对抗信号可以可靠地暴露视觉-语言模型中脆弱的推理（已有工作验证）。关键是要让对抗扰动通过解码器约束，产生视觉上逼真、语义上合理的反例，而非抽象嵌入空间中的噪声。

  6. 核心 idea：将 UMM 的生成路径转化为主动对手，在共享 token 空间施加解码器约束的扰动，生成语义一致的对抗样本来强化理解，形成极小极大自博弈。

方法详解

整体框架

UniGame 在标准 UMM（如 Janus-Pro-7B）上添加两个轻量模块：(1) 扰动器 \(C\)（3层MLP，2.1M 参数）在共享视觉 token 空间生成有界扰动；(2) 难样本缓冲区 \(\mathcal{B}\) 存储通过语义一致性检查的高难度对抗样本。训练目标是极小极大优化：理解分支最小化清洁数据和对抗样本上的损失，扰动器最大化理解分支的损失。视觉编码器（SigLIP）冻结，仅训练 LLM 的 LoRA adapter 和扰动器。

关键设计

  1. 扰动器 \(C\)（Perturber）:

    • 功能：在共享视觉 token 接口生成有界、结构化的扰动
    • 核心思路：\(\tilde{\mathbf{z}} = C(\hat{\mathbf{z}}; \theta_C) = \hat{\mathbf{z}} + \boldsymbol{\delta}\)，其中 \(\|\boldsymbol{\delta}\| \leq \varepsilon_{\max}\)。扰动后的 token 经生成分支解码为图像候选 \(\tilde{\mathbf{x}} = G(\tilde{\mathbf{z}})\)。3层 MLP + 归一化 + 裁剪。参数量仅占模型的 <1%。
    • 设计动机：直接在嵌入空间加噪声会产生离流形样本。通过让扰动经过模型自有的解码器，隐式约束扰动在生成流形上，产生的对抗图像是视觉上真实的。实验证实仅解码约束就比嵌入扰动提升 2.0%（81.5% vs 79.6%）。

  2. 难样本缓冲区 \(\mathcal{B}\)（Hard-Sample Buffer）:

    • 功能：筛选和存储高质量的对抗样本供理解分支学习
    • 核心思路：\(\mathcal{B} = \{G(\tilde{\mathbf{z}}) | H(\tilde{\mathbf{z}}) \geq \tau\}\)，其中 \(H\) 是交叉熵损失。只有让理解分支犯错（损失超过阈值 \(\tau\)）的解码样本才被保留。缓冲区大小 50 效果最佳。
    • 设计动机：不是所有扰动都有用，只保留真正能挑战模型的"难案例"，提高训练效率。

  3. "理解挑战生成"路径（Understanding Challenges Generation）:

    • 功能：优化理解分支，使其不被生成分支的对抗样本迷惑
    • 核心思路：\(\mathcal{L}_U = \mathbb{E}_{\text{clean}}[\text{CE}(p_U(\hat{a}|\mathbf{z},q), a)] + \beta \mathbb{E}_{\mathcal{B}}[\text{CE}(p_U(\hat{a}|\mathbf{z},q), a)]\)。第一项保持清洁数据准确率，第二项强制在对抗/挖掘的难样本上同样正确回答。
    • 设计动机：确保理解分支既不遗忘原始能力，又能从对抗样本中学到更强的推理能力。

  4. "生成挑战理解"路径（Generation Challenges Understanding）:

    • 功能：优化扰动器生成最有挑战性的样本
    • 核心思路：\(\mathcal{L}_C = \mathbb{E}[\text{CE}(p_U(\hat{a}|\text{Enc}(G(C(\hat{\mathbf{z}}))), q), a)] - \lambda\|\boldsymbol{\delta}\|^2\)。第一项最大化理解损失（让对抗样本尽量迷惑理解），第二项正则化防止过大扰动。CLIP 语义一致性检查确保生成的对抗图像与原始查询语义对齐。
    • 设计动机：引导扰动器专门寻找理解分支的决策边界弱点，而非随机噪声。

损失函数 / 训练策略

极小极大优化：\(\min_{\theta_U} \max_{\theta_C} (\mathcal{L}_U(\theta_U) + \lambda \mathcal{L}_C(\theta_C; \theta_U))\)。理解和扰动交替优化。使用 VQAv2 训练集和 CC3M。SigLIP 冻结，仅训练 LoRA adapter + 扰动器 MLP。总额外参数 <1%（~2.1M/7B）。

实验关键数据

主实验：一致性评估

模型 Params UnifiedBench WISE Consistency Score
BAGEL 14B 83.48 0.41 66.49
Janus-Pro (baseline) 7B 82.77 0.35 63.66
Janus-Pro+SFT 7B 83.20 0.37 64.72 (+1.06)
Janus-Pro+UniGame 7B 85.20 0.43 68.32 (+4.66)

理解 + 鲁棒性

基准 Baseline SFT UniGame 提升
VQAv2 78.2 79.5 83.4 +5.2
MMMU 41.0 41.2 43.8 +2.8
POPE 87.4 87.6 89.6 +2.2
NaturalBench (OOD) — — — +4.8%
AdVQA (对抗) — — — +6.2%

消融实验：嵌入扰动 vs 解码器约束扰动

方法 VQAv2 准确率
Baseline (SFT) 79.5
嵌入随机噪声 78.5
嵌入对抗扰动 78.9
嵌入对抗 + Cosine + Buffer 80.2
解码器约束（仅解码） 81.5
解码器 + Cosine 82.2
解码器 + CLIP 82.7
Full (解码器 + CLIP + Buffer) 83.4

关键发现

  • 解码器约束是核心——仅解码约束就比最佳嵌入扰动高 1.3%（81.5 vs 80.2），因为嵌入空间扰动与视觉语义断联
  • CLIP 语义匹配优于余弦几何约束（82.7 vs 82.2），语义约束确保对抗样本的语义一致性
  • 3层 MLP 扰动器最优（83.4%），2层（82.8%）太弱、4层（81.2%）过拟合
  • Buffer 大小 50 最佳，太小（10: 82.5%）多样性不够
  • 难样本损失在 5K+ 训练步后持续主导清洁/对抗损失，说明 UniGame 持续生成对当前模型最有挑战的样本
  • 可插入现有流程：在 RecA 基础上加 UniGame 5K 步（~10 GPU-h），MMMU +0.5、UnifiedBench +1.27

亮点与洞察

  • "让模型成为自己的对手"：将 UMM 的生成路径转为对抗训练的天然能力来源，不需要外部判别器或奖励模型。这个思路非常优雅——UMM 的双分支架构天然适合自博弈。
  • 解码器约束的对抗：不在抽象嵌入空间扰动，而是让扰动通过解码器"落地"为真实图像，隐式约束在流形上。这解决了传统对抗训练中离流形样本的核心问题。
  • 架构无关 + 即插即用：仅需 <1% 额外参数，可与 RecA、T2I-R1 等现有方法互补。

局限与展望

  • 主要在 Janus-Pro-7B 上评估，其他 UMM 架构（如 BLIP3-o、Emu3）的验证有限（仅在 toy model 上初步验证）
  • 训练数据仅用 VQAv2 和 CC3M，更大规模和更多样的数据可能释放更大潜力
  • 目前仅构造图像级对抗样本，视频 UMM 的时序对抗尚未探索
  • 极小极大训练的稳定性依赖超参数调优（\(\varepsilon_{\max}\)、\(\tau\)、\(\beta\)、学习率比），虽然作者声称鲁棒但实际部署可能需要仔细调整
  • 生成质量提升幅度相对有限（GenEval +0.02），可能因为扰动主要在理解侧优化

相关工作与启发

  • vs RecA: RecA 用重建损失对齐理解和生成表示（被动协作），UniGame 用对抗博弈主动扩展共享流形。两者互补，叠加使用有进一步提升。
  • vs VILLA: VILLA 在嵌入空间做大规模扰动提升鲁棒性，但扰动不经解码器约束。UniGame 的解码器约束扰动产生更有效的在流形对抗样本。
  • vs GAN: GAN 需要额外判别器，UniGame 利用 UMM 自有的理解分支作为判别器。且 UniGame 同时目标理解与生成。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首个 UMM 自对抗后训练框架，将生成分支作为理解的对手，理念新颖
  • 实验充分度: ⭐⭐⭐⭐ 一致性、理解、生成、OOD、对抗五维评估全面，消融细致
  • 写作质量: ⭐⭐⭐⭐ 动机论述清晰，与 GAN/AT/reconstruction 的区别分析到位
  • 价值: ⭐⭐⭐⭐ 对 UMM 后训练和一致性改进有重要参考价值，自博弈思路可推广

相关论文