Diversity over Uniformity: Rethinking Representation in Generated Image Detection¶

会议: CVPR 2026 arXiv: 2603.00717 代码: GitHub 领域: 图像取证 / AI生成图像检测 关键词: 生成图像检测, 特征坍塌, 表征多样性, 信息瓶颈, CLIP

一句话总结¶

提出反特征坍塌学习框架 AFCL，通过信息瓶颈过滤无关特征并抑制不同伪造线索之间的过度重叠，保持判别表征的多样性和互补性，在跨模型生成图像检测上取得显著提升。

研究背景与动机¶

现有生成图像检测器的核心问题并非特征不足，而是表征同质化：模型在训练过程中倾向于将多源信息压缩为少数显著的判别模式，形成"快捷路径"式的决策。这种特征坍塌现象导致：

判别能力集中于少数主成分方向（有效秩仅1-2）
检测精度在少量主成分后即饱和，无法利用额外特征
当生成方法或图像分布变化时，性能急剧下降

作者通过 UMAP 可视化和主成分分析实验验证了这一假说：预训练模型的特征空间本身包含丰富的判别线索，但经过训练后被压缩到极低秩的子空间。引入表征异质性约束后，检测器能有效利用更多主成分，泛化能力显著提升。

方法详解¶

整体框架¶

基于冻结的 CLIP ViT-L/14 图像编码器，提取多阶段 CLS 特征。每阶段特征先经 CIB 模块过滤，再由 AFCL 模块强制去相关，最后通过加权聚合和类别特定提示学习完成真伪判别。

关键设计¶

Cue Information Bottleneck (CIB)：对每阶段特征进行信息瓶颈过滤，目标是最大化与标签$y$的互信息同时最小化与输入$x$的互信息：

$$\max_{\{\mathrm{CIB}_i\}} \sum_{i=1}^{N} [I(\tilde{v}_i; y) - \beta I(\tilde{v}_i; x)]$$

通过变分下界推导出实际可优化的 CIB 损失：

$$\mathcal{L}_{\mathrm{CIB}} = \sum_{i=1}^{N} D_{\mathrm{KL}}[p(y|\tilde{\mathcal{V}}) \| p(y|\tilde{\mathcal{V}} \setminus \tilde{v}_i)]$$

确保每条线索携带不可或缺的判别信息，形成纯化且互补的特征集合。

Anti-Feature-Collapse Learning (AFCL)：使用 Hilbert-Schmidt 独立性准则（HSIC）作为核度量方法，强制不同阶段的特征保持统计独立性：

$$\mathcal{L}_{\mathrm{AFCL}} = \frac{1}{N(N-1)} \sum_{i \neq j} \mathrm{HSIC}(\tilde{v}_i, \tilde{v}_j)$$

其中 $\mathrm{HSIC}(\tilde{v}_i, \tilde{v}_j) = \frac{1}{(B-1)^2} \mathrm{Tr}(K_i H K_j H)$。此外引入权重均匀性正则化 $\mathcal{L}_{\mathrm{reg}} = (\sum_{i=1}^{N} \alpha_i^2 - 1/N)^2$ 防止聚合时权重坍塌。

Class-Specific Prompt Learning (CSP)：为"真实"和"伪造"各学习一组可训练的上下文向量，通过余弦相似度对齐最终视觉表征与文本原型：

$$s_c = \frac{\tilde{v}_{\mathrm{final}} \cdot e_c}{\|\tilde{v}_{\mathrm{final}}\| \|e_c\|}$$

使用交叉熵损失 $\mathcal{L}_{\mathrm{CSP}}$ 优化。

损失函数 / 训练策略¶

总损失为四项联合优化：

\[\mathcal{L} = \mathcal{L}_{\mathrm{CSP}} + \lambda_1 \mathcal{L}_{\mathrm{CIB}} + \lambda_2 \mathcal{L}_{\mathrm{AFCL}} + \lambda_3 \mathcal{L}_{\mathrm{reg}}\]

骨干：CLIP ViT-L/14（冻结）
优化器：Adam，学习率 $1 \times 10^{-4}$，batch size 512
训练数据：GenImage 的 SD v1.4 子集
采用 early stopping 防止过拟合

实验关键数据¶

主实验¶

数据集/指标	本文(AFCL)	VIB-Net	CLIPping	提升(vs VIB-Net)
平均 AP	99.52%	96.13%	87.32%	+3.39%
平均 ACC	92.81%	87.13%	87.81%	+5.68%
跨模型 ACC	90.02%	—	—	—

评估覆盖 21 个生成模型（UniversalFakeDetect 11个 + GenImage 7个 + AIGI-Holmes 6个），涵盖 GAN 和扩散模型两大范式。

消融实验¶

配置	平均ACC	跨模型ACC	平均AP	说明
Baseline	87.81%	85.56%	87.32%	无CIB/AFCL/reg
+CIB	89.72%	85.99%	99.38%	信息瓶颈过滤
+AFCL+reg	91.60%	91.15%	99.40%	去相关+正则化
全部	92.81%	90.02%	99.52%	所有组件协同

关键发现¶

本方法的有效秩达到 67.38，远高于 CNNDet（1.37）和 VIB-Net（1.92）
解释90%方差所需主成分数仅比预训练骨干少26个，而其他检测器减少数百个
仅用 0.1% 数据（320样本）即可达到 80.98% ACC / 90.81% AP
在 JPEG 压缩和高斯模糊干扰下保持最优鲁棒性

亮点与洞察¶

问题诊断精准：通过有效秩和主成分分析，定量揭示"特征坍塌"是泛化瓶颈的根因，而非信息量不足
HSIC去相关：用核方法度量特征独立性，比简单正交约束更灵活，能捕捉非线性依赖
信息纯化+多样性双管齐下：CIB 去噪 + AFCL 去相关，二者互补缺一不可

局限性 / 可改进方向¶

仅在 SD v1.4 上训练，未验证在更大规模多源训练时的优势是否保持
多阶段特征数 $N$ 的选择对结果的影响未深入讨论
对视频生成（如 Sora）的检测能力未涉及

评分¶

新颖性: ⭐⭐⭐⭐ 从表征坍塌角度重新审视检测问题，视角新颖且有理论支撑
实验充分度: ⭐⭐⭐⭐ 21个生成模型、消融完整、鲁棒性/少样本实验充分
写作质量: ⭐⭐⭐⭐ 动机分析和可视化令人信服，论述清晰
价值: ⭐⭐⭐⭐ 对生成图像检测领域有重要启示，AFCL思想可广泛迁移