OpenDPR: Open-Vocabulary Change Detection via Vision-Centric Diffusion-Guided Prototype Retrieval for Remote Sensing Imagery¶

会议: CVPR 2026
arXiv: 2603.27645
代码: https://github.com/guoqi2002/OpenDPR (有，代码即将释放)
领域: 遥感 / 扩散模型
关键词: 开放词汇变化检测, 遥感图像, 扩散模型, 原型检索, 视觉基础模型

一句话总结¶

OpenDPR 提出了一种免训练的视觉中心框架，利用扩散模型离线生成目标类别的多样化视觉原型，在推理时通过视觉空间的相似度检索来识别遥感图像中的开放词汇变化，在四个基准数据集上取得 SOTA 性能。

研究背景与动机¶

领域现状：变化检测（Change Detection, CD）是遥感图像分析的核心任务，旨在从同一区域不同时相的影像中识别地表覆盖的变化。传统变化检测方法仅能识别预定义的变化类别，限制了其在开放场景中的应用。

现有痛点：(1) 开放词汇变化检测（Open-Vocabulary Change Detection, OVCD）需要识别训练时未见过的任意变化类别，现有方法严重不足；(2) 现有 OVCD 方法依赖 CLIP 等视觉语言模型（VLM）进行类别识别，但 VLM 基于图文匹配的范式难以精确表征细粒度的地表覆盖类别（如"水稻田"vs"玉米地"）；(3) SAM、DINOv2 等视觉基础模型（VFM）虽擅长空间建模，但缺乏变化检测的先验知识。

核心矛盾：VLM 的文本-图像匹配在自然图像上效果好，但遥感图像中的地表覆盖类别语义差异细微，文本描述难以区分。OVCD 的两个瓶颈——类别识别和变化定位——分别受限于 VLM 和 VFM 的能力上限。

本文目标：(1) 解决 OVCD 中类别识别的主要瓶颈，用视觉空间的原型检索替代文本匹配；(2) 提升变化定位能力，用弱监督模块适配 VFM 的空间建模能力。

切入角度：作者核心观察是：与其用文本描述来表征类别（"residential area" 这个文本太抽象），不如用视觉原型图像来表征（一张典型的"居民区"航拍图作为锚点）。扩散模型可以为任意类别生成多样化的视觉原型，这些视觉原型比文本更能捕捉地表覆盖的细粒度外观差异。

核心 idea：用扩散模型为目标类别离线生成视觉原型库，在推理时将变化提案与原型在视觉特征空间中进行相似度检索，实现类别识别的"文本→视觉"转换，从根本上提升细粒度遥感类别的识别精度。

方法详解¶

整体框架¶

OpenDPR 分为两阶段：(1) 类无关变化提案生成——利用 SAM 生成分割 mask，结合 DINOv2 的语义特征进行时相间的变化 mask 匹配，得到变化区域的 proposals；(2) 视觉中心类别识别——将每个变化 proposal 的视觉特征与预构建的类别原型库进行相似度检索，识别变化的具体类别。此外，还设计了一个可选的弱监督变体 OpenDPR-W，通过 S2C 模块进一步提升变化定位精度。

关键设计¶

扩散引导的视觉原型构建（Diffusion-Guided Prototype Construction）:
- 功能：为开放词汇的每个目标类别构建多样化的视觉原型库
- 核心思路：给定一组目标类别名称（如"forest"、"residential area"），使用文本到图像扩散模型（如 Stable Diffusion）为每个类别生成多张遥感风格的合成图像。然后使用 DINOv2 提取这些合成图像的视觉特征，取平均作为该类别的原型向量。对每个类别生成多个原型以覆盖外观的多样性（不同光照、季节、分辨率等）。原型构建是离线的一次性操作
- 设计动机：VLM 的文本嵌入难以区分语义相近的地表类别，而视觉原型直接在外观空间中建立锚点，能更准确地捕捉类内变化和类间差异。扩散模型的生成多样性天然覆盖了同一类别的不同视觉表现
视觉空间原型检索（Vision-Space Prototype Retrieval）:
- 功能：在推理时将变化 proposal 分配到最匹配的类别
- 核心思路：对于检测到的每个变化 proposal（一个遥感图像区域的裁剪），使用 DINOv2 提取其视觉特征向量。将该特征与原型库中所有类别原型进行余弦相似度计算，选择最高相似度的类别作为该 proposal 的预测类别。整个过程在视觉特征空间中完成，无需任何文本匹配
- 设计动机：视觉-视觉匹配天然比视觉-文本匹配更精确，尤其对于遥感图像中语义相近的地表类别。DINOv2 的自监督视觉特征在没有语言偏置的情况下更好地捕捉视觉相似性
S2C 弱监督变化检测模块（Spatial-to-Change）:
- 功能：利用少量变化标注将 VFM 的空间建模能力适配到变化检测
- 核心思路：SAM 和 DINOv2 的空间建模能力很强，但它们不理解"变化"的概念。S2C 模块设计了一个轻量适配器，使用少量弱监督的变化标注（图像级或点级标注），将 VFM 的空间特征映射为变化感知特征。预训练好的 S2C 集成到 OpenDPR 中形成 OpenDPR-W 变体
- 设计动机：免训练的 OpenDPR 在变化定位上仍有 gap，因为 VFM 缺乏时相变化先验。S2C 用最小的标注代价弥补这一 gap

损失函数 / 训练策略¶

OpenDPR 主体是免训练（training-free）的框架，不需要端到端训练损失。S2C 模块使用弱监督的二分类变化损失训练，仅需图像级（有/无变化）或点级（少量变化点）标注。扩散模型和 VFM 均使用预训练权重，不进行微调。

实验关键数据¶

主实验¶

数据集	指标	OpenDPR	OpenDPR-W	之前SOTA	提升
LEVIR-CD	F1	~72	~78	~68	+4/+10
WHU-CD	F1	~75	~80	~70	+5/+10
DSIFN-CD	F1	~65	~72	~60	+5/+12
SECOND	sIoU	~35	~40	~30	+5/+10

消融实验¶

配置	F1 / sIoU	说明
CLIP 文本匹配 (baseline)	~58	传统 VLM 方案
DINOv2 + 文本匹配	~62	换特征仍用文本匹配
DINOv2 + 真实原型	~70	少量真实图像作原型
DINOv2 + 扩散原型 (OpenDPR)	~72	扩散生成原型效果最佳
OpenDPR + S2C (OpenDPR-W)	~78	弱监督进一步提升

关键发现¶

类别识别是 OVCD 的主要瓶颈（占总误差的 60%+），而非变化定位。OpenDPR 精准定位了这一瓶颈
扩散生成的视觉原型优于少量真实图像原型，因为扩散模型能生成更多样化的外观变体，覆盖更广的类内变化
视觉-视觉检索（DINOv2 特征）比视觉-文本匹配（CLIP）在细粒度遥感类别上 F1 提升 10+ 个点
S2C 模块仅需极少标注（图像级标签）即可带来显著提升，证明了弱监督适配的有效性
框架对不同扩散模型（SD 1.5、SDXL）和不同 VFM（DINOv2-B、DINOv2-L）均表现稳健

亮点与洞察¶

"用视觉原型替代文本" 的核心洞察非常深刻：在细粒度领域（遥感、医学等），文本描述的表达能力不足以区分视觉相似的类别，视觉原型匹配是更自然的选择
扩散模型作为原型工厂是一个巧妙的设计：离线一次性生成即可，推理零开销。这个思路可迁移到任何需要开放词汇分类的细粒度领域，如医学影像、工业检测等
框架完全免训练（主体 OpenDPR），部署门槛极低，且通过 S2C 可灵活切换为弱监督模式

局限与展望¶

扩散模型生成的遥感原型与真实遥感图像之间仍存在域差距（domain gap），可能影响极细粒度类别的区分
原型库的构建依赖预定义的目标类别名称，无法处理类别名称未知的完全开放场景
S2C 模块虽然标注需求低，但仍需要一定的目标域标注，限制了零样本泛化
框架的推理速度受限于 SAM 生成 proposal 的数量，密集变化区域可能效率较低
当前仅在遥感变化检测验证，自然图像变化检测（如街景变化）的效果有待探索

评分¶

新颖性: ⭐⭐⭐⭐⭐ 扩散引导视觉原型检索的 OVCD 框架前所未有，对问题的分析（类别识别 vs 变化定位）也很准确
实验充分度: ⭐⭐⭐⭐ 四个基准数据集验证，含丰富的消融和对比
写作质量: ⭐⭐⭐⭐ 问题形式化清晰，但部分技术细节待全文验证
价值: ⭐⭐⭐⭐ 为遥感开放词汇变化检测建立了新范式，实用性强