One-to-More: High-Fidelity Training-Free Anomaly Generation with Attention Control¶

会议: CVPR 2026
arXiv: 2603.18093
代码: 无
领域: AI安全 / 异常检测
关键词: 异常生成, 训练免微调, 自注意力嫁接, 扩散模型, 工业异常检测

一句话总结¶

O2MAG 提出一种无需训练的少样本异常生成方法，通过三分支扩散过程中的自注意力嫁接(TriAG)从单张参考异常图像合成更多逼真异常，配合异常引导优化(AGO)对齐文本语义和异常引导增强(DAE)确保掩码区域完整填充，在 MVTec-AD 下游异常检测任务中显著优于现有方法。

研究背景与动机¶

领域现状：工业异常检测面临数据不平衡问题——正常图像充足但异常图像稀缺。现有异常合成方法包括训练型（DreamBooth 微调、文本反转学习嵌入）和无训练型方法。
现有痛点：训练型方法计算和存储开销大，且在少样本下容易过拟合；唯一的无训练方法 AnomalyAny 仅操作交叉注意力，无法精确控制异常语义和空间布局，生成的异常不够逼真。
核心矛盾：Stable Diffusion 训练数据中工业缺陷极为罕见，简单文本提示无法精确描述缺陷语义，导致生成偏离真实异常分布。
本文目标：利用扩散模型的内在先验，从单张参考异常图像无训练地合成多样且逼真的异常。
切入角度：自注意力图的 PCA 分析显示异常前景和正常背景在注意力空间中天然分离，可以通过操作自注意力的 K/V 实现跨分支信息传递。
核心 idea：三分支并行扩散 + 掩码引导的自注意力嫁接，从参考异常分支获取前景缺陷特征，从正常分支获取背景特征。

方法详解¶

整体框架¶

O2MAG 包含三个并行扩散过程：参考异常分支（从参考异常图像 DDIM 反转得到噪声）、正常图像分支（从正常图像反转）、目标异常分支（用正常噪声初始化）。通过自注意力嫁接在指定掩码区域注入异常特征。还有 AGO 模块优化文本嵌入和 DAE 模块增强掩码区域注意力。

关键设计¶

三分支注意力嫁接 (TriAG):
- 功能：在保持正常背景的同时，将参考异常的视觉特征传输到目标图像的指定区域
- 核心思路：保持目标分支的 Q 不变，替换 K 和 V：在掩码 \(M_T\) 内部，从参考异常分支获取 K/V（只查询参考掩码 \(M_R\) 内的前景异常特征）；在掩码外部，从正常分支获取 K/V（只查询掩码外的背景特征）。最终注意力输出为 \(\text{Attn}^*_{T} = M_T \odot \text{Attn}_{fg} + (1-M_T) \odot \text{Attn}_{bg}\)
- 设计动机：自注意力的 PCA 可视化证实异常和正常在注意力空间中自然分离，操作 K/V 可以精确控制内容传递
异常引导优化 (AGO):
- 功能：弥合文本编码的异常语义与真实异常视觉特征之间的差距
- 核心思路：保持扩散模型冻结，仅优化文本嵌入 \(\mathbf{e}\)，最小化重建损失 \(\mathbf{e}^* = \arg\min_{\mathbf{e}} \mathbb{E}[\|\epsilon - \epsilon_\theta(x_t, t, \mathbf{e})\|^2]\)，使文本嵌入从正常语义空间移向异常空间。优化 500 步，使用 Adam，学习率 \(3 \times 10^{-3}\)
- 设计动机：SD 训练数据中工业缺陷罕见，文本提示如"a photo of cable with bent wire"无法准确编码缺陷外观，需要数据驱动的嵌入对齐
双重注意力增强 (DAE):
- 功能：确保异常在目标掩码区域内完整填充，避免生成微弱或不完整的缺陷
- 核心思路：在特定时间步的解噪过程中，增强掩码区域内的自注意力和交叉注意力权重，使模型对缺陷区域产生更强的响应
- 设计动机：小缺陷区域容易在生成过程中被忽略或减弱，需要主动增强注意力

损失函数 / 训练策略¶

无需训练。AGO 仅在推理时对文本嵌入做轻量优化（500 步）。整个流程基于 SD v1.5 的 50 步 DDIM 采样。

实验关键数据¶

主实验¶

方法	AP-I (检测)↑	AUC-P (定位)↑	F1-P (定位)↑	Accuracy (分类)↑
DFMGAN	93.5	86.7	59.2	-
AnomalyDiffusion	99.3	98.9	78.2	-
DualAnoDiff	99.4	99.1	82.6	78.5
SeaS	99.3	98.7	79.1	-
O2MAG	99.7	99.3	84.6	90.6

O2MAG 在所有指标上全面领先，分类准确率比最佳训练方法高 12.1%。

消融实验¶

配置	AP-I	F1-P	说明
Full O2MAG	99.7	84.6	完整模型
w/o AGO	98.9	81.2	文本嵌入优化的贡献
w/o DAE	99.3	82.4	注意力增强的贡献
w/o TriAG 掩码	97.5	75.8	掩码引导是核心

关键发现¶

TriAG 的掩码引导是最关键的组件，没有掩码会导致前景/背景混淆
AGO 对分类任务提升巨大（+12.1%），因为更准确的异常语义对类别区分至关重要
训练免方法首次在下游异常检测中超越训练型方法，说明 SD 的自注意力先验足够强大
KID 和 IC-LPIPS 指标显示 O2MAG 生成质量和多样性均优

亮点与洞察¶

自注意力的异常-正常分离性：PCA 可视化揭示 SD 自注意力天然编码了前景/背景的语义分离，这一发现可推广到其他编辑任务
无训练超越有训练：证明了精心设计的注意力操控可以超越需要微调的方法，降低了异常合成的门槛
三分支并行设计：通过分离异常源、背景源和目标，实现了精确的区域级控制

局限与展望¶

AGO 仍需 500 步优化，增加了推理延迟
依赖预定义的异常掩码，实际场景中掩码获取可能困难
对极小缺陷的生成效果有限
未来可结合 SAM 等分割模型自动生成掩码

评分¶

新颖性: ⭐⭐⭐⭐ 三分支注意力嫁接新颖，但基于已有注意力操控思路
实验充分度: ⭐⭐⭐⭐ MVTec 全面评测，多维度指标
写作质量: ⭐⭐⭐⭐ 方法描述清晰，可视化充分
价值: ⭐⭐⭐⭐ 降低了工业异常合成的训练门槛