Detecting AI-Generated Forgeries via Iterative Manifold Deviation Amplification¶

会议: CVPR 2026 arXiv: 2602.18842 代码: 待确认领域: 图像分割 / AI 伪造检测 关键词: AI 生成图像检测, 流形偏差, MAE 重建, 迭代放大, 图像伪造定位

一句话总结¶

提出 IFA-Net，从"建模什么是真"而非"学什么是假"的角度检测 AI 伪造：利用冻结 MAE 重建输入产生残差暴露偏离自然图像流形的区域，再通过两阶段闭环——粗检测→任务自适应先验注入→放大残差→精细化——迭代放大流形偏差，在 diffusion inpainting 和传统篡改检测上均取得 SOTA。

研究背景与动机¶

随着 Stable Diffusion、DALL-E 等 AI 图像生成技术的爆发，AI 生成内容（AIGC）的伪造检测与定位变得至关重要。现有方法大多遵循"学习什么是假"的范式：从伪造样本中提取伪造特有的 artifact（如频谱异常、GAN fingerprint）。但这类方法存在根本问题：

泛化性差：在特定生成器上训练的检测器难以泛化到未见过的生成器
对抗脆弱：伪造者只需微调生成过程即可绕过基于 artifact 的检测
数据依赖：需要大量标注的 "真-假" 配对数据

核心转向：如果我们不去学习"假图像长什么样"，而是精准建模"真实图像应该长什么样"，那么任何偏离真实图像流形的区域都是可疑的。 这一思路天然具备跨生成器泛化能力，因为建模的是自然图像的统计规律而非特定伪造方法的 artifact。

预训练 MAE（Masked Autoencoder）在海量真实图像上学习了强大的自然图像流形先验。当 MAE 试图重建一张部分伪造的图像时，真实区域可以被良好重建（因为位于流形上），而伪造区域则会产生较大的重建残差（因为偏离流形）。残差图天然就是伪造区域的"探照灯"。

方法详解¶

整体框架¶

IFA-Net 采用两阶段闭环架构： - Stage 1：冻结 MAE 重建 → 残差图 → DSSN 双流分割 → 粗 mask $M_{\text{crs}}$ - Stage 2：粗 mask 通过 TAPI 注入 MAE → 放大残差 → 共享 DSSN 精细化 → 最终 mask $M_{\text{ref}}$

关键设计¶

Stage 1 — 基于 MAE 残差的粗检测:
冻结 MAE 重建：输入可能被篡改的图像 $I$，通过冻结的 MAE encoder-decoder 重建 $\hat{I}$
残差图计算：$R = |I - \hat{I}|$，真实区域残差小（MAE 重建准确），伪造区域残差大（偏离流形）
DSSN（Dual-Stream Segmentation Network）：
- Content Stream：编码原始图像的语义内容（SegFormer backbone）
- Artifact Stream：编码残差图中的伪造线索
- Cross-Attention 融合：两个 stream 通过交叉注意力交换信息，内容流提供"在哪里看"，artifact 流提供"看到了什么异常"
输出粗 mask $M_{\text{crs}}$
Stage 2 — TAPI（Task-Adaptive Prior Injection）迭代放大:
动机：Stage 1 的残差可能不够显著（生成质量越高，残差越微弱），需要放大
Prompt Encoder：将粗 mask $M_{\text{crs}}$ 通过卷积降采样 + 线性投影编码为全局上下文向量
FiLM 调制：利用全局上下文通过 Feature-wise Linear Modulation 调制冻结 MAE encoder 的中间特征： $$\tilde{Z} = \gamma \odot Z + \beta$$ 其中 $\gamma, \beta$ 由 Prompt Encoder 输出的上下文向量生成，$Z$ 为冻结 MAE encoder 的特征
核心效果：TAPI 告诉 MAE "关注这些区域"，使得 MAE 在已知可疑区域投入更多重建能力，产生更大的残差偏差
Trainable MAE Decoder：Stage 2 的 MAE decoder 是可训练的（不同于 Stage 1 的冻结 decoder），进一步放大伪造区域的重建误差
放大残差 $R_{\text{amp}} = |I - \hat{I}_{\text{amp}}|$ 被送入共享的 DSSN 得到精细化 mask $M_{\text{ref}}$
双流分割网络 DSSN 细节:
基于 SegFormer 架构，但采用双流设计
Content Stream 的输入：原始图像 $I$
Artifact Stream 的输入：残差图 $R$（Stage 1）或放大残差图 $R_{\text{amp}}$（Stage 2）
Cross-Attention 融合模块在每个 SegFormer stage 后应用
两个 stage 共享 DSSN 权重（参数效率高，且 Stage 1 的梯度也帮助 Stage 2 的 DSSN 学习）

损失函数¶

\[\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{ref}} + 0.5 \cdot \mathcal{L}_{\text{crs}}\]

每个阶段的损失均包含： $$\mathcal{L}_{\text{stage}} = \mathcal{L}_{\text{BCE}} + \mathcal{L}_{\text{Dice}}$$

BCE loss 处理像素级分类
Dice loss 处理类别不平衡（伪造区域通常远小于真实区域）
精细化 mask $M_{\text{ref}}$ 的权重为 1.0，粗 mask $M_{\text{crs}}$ 的权重为 0.5，引导网络重点优化最终输出

实验关键数据¶

主实验 — Diffusion Inpainting 检测¶

在四个 diffusion inpainting benchmark 上的平均结果：

方法	IoU (%)	F1 (%)
MVSS-Net	41.2	52.7
ObjectFormer	43.8	55.1
SAFIRE	47.3	59.6
UnionFormer	49.1	61.3
IFA-Net (Ours)	55.6 (+6.5)	69.4 (+8.1)

关键发现： - IFA-Net 在 IoU 上平均超越最佳 baseline +6.5%，F1 超越 +8.1% - 在 Stable Diffusion v2 inpainting 上提升最为显著，说明流形偏差方法对高质量生成更有效

泛化性 — 传统篡改检测¶

在 CASIA、Columbia、NIST 等传统 copy-move/splicing 数据集上：

方法	CASIA F1	Columbia F1	NIST F1
ManTra-Net	48.2	72.5	35.8
SPAN	52.1	76.3	39.2
IFA-Net	56.8	79.1	43.7

关键发现：IFA-Net 无需在传统篡改数据上训练，零样本泛化即超越专门的篡改检测方法，验证了"建模真而非学假"范式的泛化优势。

消融实验¶

配置	MAE 残差	TAPI 放大	双流 DSSN	IoU (%)
仅内容流	✗	✗	✗	38.5
+ MAE 残差	✓	✗	✗	46.2
+ 双流融合	✓	✗	✓	50.8
+ TAPI（完整）	✓	✓	✓	55.6

MAE 残差引入了 +7.7% IoU，确认流形偏差信号的有效性
双流 DSSN 再提升 +4.6%，说明内容和 artifact 信息互补
TAPI 迭代放大额外 +4.8%，证明残差放大机制关键

亮点与洞察¶

范式转变：从"学假"到"建模真"，利用预训练 MAE 的流形先验天然具备跨生成器泛化
闭环放大设计：粗 mask → 注入 MAE → 放大残差 → 精细 mask，形成"检测→聚焦→放大→精化"的优雅闭环
冻结 + 调制：MAE encoder 保持冻结保留流形先验，仅通过 FiLM 调制注入任务信息，参数高效
零样本泛化：在 diffusion inpainting 上训练，零样本迁移到传统 copy-move/splicing，说明流形偏差是统一的伪造指标

局限性 / 可改进方向¶

MAE 的重建能力有限，对极小区域（<32×32 像素）的伪造可能残差不显著
两阶段串行推理增加延迟，实时视频伪造检测需优化效率
TAPI 仅迭代一次（Stage 1 → Stage 2），多次迭代是否能进一步提升未探索
对全图 AI 生成（非局部 inpainting）的检测能力未充分验证
共享 DSSN 权重在两个 stage 间可能存在优化冲突

评分¶

新颖性: ⭐⭐⭐⭐⭐ "建模真而非学假"的范式转变+闭环残差放大在伪造检测领域原创
实验充分度: ⭐⭐⭐⭐ diffusion inpainting + 传统篡改 + 完整消融，但缺少 deepfake 人脸场景
写作质量: ⭐⭐⭐⭐ 动机阐述优秀，"流形偏差"概念直观清晰
价值: ⭐⭐⭐⭐⭐ 跨生成器泛化能力使方法具有实际部署价值，范式可推广