UniSpector: Towards Universal Open-set Defect Recognition via Spectral-Contrastive Visual Prompting¶

会议: CVPR 2026
arXiv: 2604.02905
代码: https://geonuk-kimmm.github.io/UniSpector
领域: 目标检测
关键词: 开放集缺陷检测、频域特征、对比提示编码、视觉提示、工业质检

一句话总结¶

本文提出 UniSpector 开放集工业缺陷检测框架，通过频域-空域双域特征融合（SSPE）和角度间隔对比提示编码（CPE）解决了视觉提示嵌入崩塌问题，在新构建的包含 360 种缺陷类别的 Inspect Anything benchmark 上，AP50 检测和分割分别比最佳基线高 19.7% 和 15.8%。

研究背景与动机¶

领域现状：工业质检需要检测各种未见过的缺陷类型。现有开放集检测方法（如 GroundingDINO、T-Rex2）主要面向自然图像，在工业缺陷场景下效果很差——缺陷通常是细微的纹理/颜色异常，与自然目标的特征分布差异巨大。
现有痛点：(1) 视觉提示方法在工业场景中存在"提示嵌入崩塌"——不同缺陷类型的提示向量在嵌入空间中高度重叠，无法区分；(2) 现有方法仅利用空域特征，忽略了缺陷的频域特征（如周期性纹理异常在频谱上更有鉴别力）。
核心矛盾：工业缺陷的视觉差异极其细微（常常只是微小的划痕、凹坑或色差），纯空域 RoI 特征难以捕捉这些差异，导致不同类别的提示向量坍缩为同一区域。
本文目标：设计一种能在频域和空域双重维度提取鉴别性缺陷特征的提示编码方案，并通过对比约束显式拉开不同缺陷类别的嵌入距离。
切入角度：观察到缺陷的频域特征（如周期条纹在频谱上的能量集中模式）比空域像素更稳定且更有区分度——这受启发于信号处理中频谱分析的经典思路。
核心 idea：双域提示编码（SSPE）+ 角度间隔对比学习（CPE）+ 提示引导查询选择（PQS），三位一体解决工业开放集检测。

方法详解¶

整体框架¶

参考图像中的缺陷 RoI → SSPE 提取频域+空域特征并融合为提示嵌入 → CPE 通过角度间隔对比损失拉开不同类别嵌入 → 类别原型与 backbone 特征图计算相似度 → PQS 选择最相关的 query 送入检测/分割头 → 输出检测框和掩码。

关键设计¶

频域-空域提示编码器（SSPE）
- 功能：从 RoI 补丁中提取频域和空域的互补特征
- 核心思路：对 RoI 做 2D DFT 得到频谱 \(F_k(u,v) = \text{DFT}(R_k)\)，然后提取径向频率分布 \(h_k(\rho) = \frac{1}{|\Gamma_\rho|}\sum_{(u,v) \in \Gamma_\rho}|F_k(u,v)|\)（方向不变性），经径向频率编码器得 \(z_k^{\text{freq}}\)。空域侧通过 mask 交叉注意力得 \(z_k^{\text{spatial}}\)。两个分支通过双 MLP 对齐融合：\(\mathbf{e}_k = f_{\text{align}}(z_k^{\text{spatial}}) + v_{\text{align}}(z_k^{\text{freq}})\)
- 设计动机：频域径向频率的方向不变性解决了缺陷方向随机的问题；空域特征捕捉局部纹理细节。两者互补
对比提示编码（CPE）
- 功能：显式约束不同缺陷类别的提示嵌入距离，防止崩塌
- 核心思路：计算类别原型 \(\mathbf{p}_c\)（同类嵌入均值），通过余弦相似度+角度间隔损失约束：\(\mathcal{L}_{\text{CPE}} = -\frac{1}{N}\sum_{k=1}^N \log\frac{\exp(\alpha\cos(\theta_{y_k,k}+m))}{\exp(\alpha\cos(\theta_{y_k,k}+m))+\sum_{c\neq y_k}\exp(\alpha\cos(\theta_{c,k}))}\)，间隔 \(m\) 强制不同类别在角度空间保持最小距离
- 设计动机：标准对比损失可能学到松散的决策边界，角度间隔约束（来自人脸识别领域 ArcFace 的思路）确保紧凑且可区分的类别簇
提示引导查询选择（PQS）
- 功能：让检测器只关注与提示缺陷高度相关的图像区域
- 核心思路：计算视觉 token \(\mathcal{F}\) 与类别原型 \(\mathbf{p}\) 的余弦相似度作为相关性分数，通过 Gumbel-Softmax 的可微 top-K 选择出最相关的 query，用 Straight-Through Estimator 保持梯度流
- 设计动机：可学习参数或启发式 top-K 都不够好——可学习的不考虑提示信息，启发式的不可微无法端到端优化

损失函数 / 训练策略¶

CPE 角度间隔对比损失 + 标准检测/分割损失。缩放因子 \(\alpha\) 和间隔 \(m\) 为超参数。基于 DINOv 架构，在 InsA 训练集上训练。

实验关键数据¶

主实验¶

方法	GC10	MagTile	Real-IAD	MVTec	平均 AP50↑
GroundingDINO	9.6	26.7	0.3	1.4	5.4
DINOv†	16.5	48.4	21.0	15.9	17.1
T-Rex2†	32.4	49.0	25.1	24.4	32.7
YOLOE†	10.7	43.3	17.2	25.8	17.4
UniSpector†	38.2	63.3	69.1	53.5	40.9

消融实验¶

组件	APb	AP50b	AP75b	APm	AP50m
Baseline	13.6	24.0	14.5	7.7	20.0
+SSPE	27.9	43.0	31.0	17.7	34.8
+SSPE+CPE	43.8	65.8	48.9	26.0	53.1
+SSPE+CPE+PQS	46.3	69.1	51.9	28.9	56.7

关键发现¶

SSPE 贡献最大（AP50b +19.0），CPE 进一步提升 22.8，PQS 增加 3.3——三者叠加效果远超单独使用
跨域泛化（3CAD=14.1, VISION=15.3, VisA=32.8）虽然低于域内，但仍大幅超越基线
闭集性能（90.0 AP50b）与专用闭集检测器（YOLOv11 88.3, MaskDINO 91.7）接近，说明方法未因开放集设计而牺牲精度
PQS 的可微 top-K 选择优于可学习参数和启发式 top-K（GC10 AP50b: 38.2 vs 34.4/35.6）

亮点与洞察¶

频域特征的巧妙引入：在工业缺陷场景中，频域径向频率的方向不变性是一个非常精炼的设计——缺陷方向未知但频率特征稳定，这种问题-方法的匹配度极高
InsA benchmark 的构建贡献：67k 图像、360 类缺陷的统一评测标准填补了工业领域缺乏大规模开放集基准的空白
ArcFace 思路迁移到检测领域：角度间隔对比学习从人脸识别迁移到缺陷检测的提示编码中，跨领域迁移非常自然且效果显著

局限与展望¶

跨域性能下降明显（域内 40.9 vs 跨域 ~20），不同工厂的光照/纹理差异是主要挑战
提示质量依赖标注的参考图像，工业现场标注成本可能较高
频域特征对缺陷大小敏感——非常小的缺陷可能在频谱上信号不足
每次推理需要提供参考缺陷图像，无法像语言提示那样灵活描述新缺陷类型

评分¶

新颖性: ⭐⭐⭐⭐ 频域提示编码+角度间隔对比的组合设计新颖
实验充分度: ⭐⭐⭐⭐⭐ 完整消融+跨域+闭集对照+多基线+新benchmark
写作质量: ⭐⭐⭐⭐ 结构清晰，motivation 充分
价值: ⭐⭐⭐⭐ 工业质检的实际需求+benchmark贡献+方法可部署