Prompt-Free Universal Region Proposal Network¶
会议: CVPR 2026
arXiv: 2603.17554
代码: GitHub
领域: 目标检测
关键词: 区域提案, 无提示检测, 零样本泛化, 可学习嵌入, 开放世界
一句话总结¶
PF-RPN 用可学习视觉嵌入替代文本/图像提示，通过稀疏图像感知适配器、级联自提示和中心性引导查询选择三个模块，仅用 5% COCO 数据训练即可在 19 个跨域数据集上实现 SOTA 零样本区域提案。
研究背景与动机¶
领域现状：区域提案网络（RPN）是目标检测的核心组件，负责生成候选框。开放词汇目标检测（OVD）模型如 Grounding DINO、YOLO-World 通过文本类别名或示例图像作为提示来定位目标，具有跨域泛化能力。
现有痛点：OVD 方法依赖外部提示（类别名/示例图像），在实际场景中这些信息往往不可用——比如工业缺陷检测和水下目标检测中，目标类别和参考图像都无法预先获取。虽然有一些 prompt-free OVD 方法（如 GenerateU、DetCLIPv3）利用大型视觉语言模型生成文本描述来消除手动提示，但引入了巨大的显存和延迟开销。
核心矛盾：要实现"无提示"的通用目标定位，既不能依赖外部文本/图像输入，又不能使用计算量巨大的生成式 VLM。需要找到一种轻量且高效的方式来替代文本嵌入的角色。
本文目标 设计一个无需任何外部提示、只利用视觉特征就能在未知域中定位任意目标的轻量级区域提案网络。
切入角度：作者观察到 OVD 模型中文本嵌入的作用本质上是提供查询信号来匹配视觉特征，因此可以用一个可学习的视觉嵌入来替代文本嵌入，并通过图像自身的视觉特征来动态更新这个嵌入。进一步观察到：(1) 目标内部特征的定位能力比可学习嵌入更强，(2) 靠近目标中心的查询比边缘查询产生更准确的提案。
核心 idea：用可学习的视觉嵌入替代文本提示，通过多层级视觉特征的自适应聚合和级联自提示迭代精化来实现无提示的通用目标定位。
方法详解¶
整体框架¶
PF-RPN 建立在 Grounding DINO（Swin-B backbone）之上。输入图像经编码器提取 4 个层级的特征图 \(F_i^I \in \mathbb{R}^{H_i \times W_i \times C}\)，然后经过三个核心模块处理：SIA 将可学习嵌入 \(F^T\) 与多层级视觉特征融合完成初步定位 → CSP 通过深到浅的级联自提示迭代精化嵌入以捕获难例 → CG-QS 利用中心性评分选出高质量查询 → 最终由 DETR-like 解码器输出提案框。
关键设计¶
-
稀疏图像感知适配器（SIA）:
- 功能：将可学习嵌入 \(F^T\) 与最具信息量的视觉特征层自适应融合
- 核心思路：采用 MoE（混合专家）路由机制。对每层特征做全局平均池化得到紧凑表示 \(\bar{F}_i^I\)，通过轻量 MLP 路由器预测各层重要性权重 \(w_i = \text{Router}(\bar{F}_i^I)\)，选择 top-\(k\)（\(k \leq 4\)，默认 \(k=2\)）层，然后用交叉注意力更新嵌入：\(\tilde{F}^T = \sum_{j=1}^{k} \tilde{w}_{\sigma(j)} \cdot \text{Attn}(F^T, [\bar{F}_{\sigma(j)}^I, F_{\sigma(j)}^I])\)
- 设计动机：不同层级的特征对不同尺度目标贡献不同（浅层利于小目标，深层捕获大目标），朴素全层融合引入冗余噪声。MoE 路由在注意力之前就过滤掉无关层级，同时结合全局特征和局部特征提供粗细粒度的视觉线索
-
级联自提示（CSP）:
- 功能：通过多轮迭代精化可学习嵌入，捕获 SIA 遗漏的难例（小目标、遮挡目标）
- 核心思路：从深层到浅层级联。在每层 \(i\) 生成相似性掩码 \(M_i = \mathbb{1}(\cos(\tilde{F}_{i-1}^T, F_i^I) > \delta)\)（\(\delta=0.3\)），然后通过掩码平均池化精化嵌入：\(\tilde{F}_i^T = \tilde{F}_{i-1}^T + \text{MAP}(M_i, F_i^I)\)
- 设计动机：SIA 后仍有背景区域被激活（单步适应不足）。利用一个关键观察：目标内部特征的定位能力比可学习嵌入更强，因此用已激活的目标区域特征来反向引导嵌入更新。深到浅的级联先聚合语义、再整合结构细节。默认迭代 3 次，延迟仅增加 ~4.6ms
-
中心性引导查询选择（CG-QS）:
- 功能：选择靠近目标中心的高质量查询嵌入用于最终提案生成
- 核心思路：轻量 MLP 预测每个查询 \(f_i\) 的中心性分数 \(g_i\)，监督信号为 \(c_i = \sqrt{\frac{\min(l,r)}{\max(l,r)} \times \frac{\min(t,b)}{\max(t,b)}}\)（到 GT 框四边的距离），中心性损失 \(\mathcal{L}_{ctr} = \sum_i \|g_i - c_i\|_1\)。推理时将中心性分数与分类分数联合确定最终候选查询集
- 设计动机：可视化发现靠近目标中心的查询产生的边框比边缘查询更准确，因此优先选择中心区域的查询可以减少假阳性并提升提案质量
损失函数 / 训练策略¶
总损失：\(\mathcal{L} = \mathcal{L}_{reg} + \mathcal{L}_{cls} + \mathcal{L}_{rt} + \lambda \mathcal{L}_{ctr}\)，其中 \(\mathcal{L}_{reg}\) 包含 L1 和 GIoU 损失，\(\mathcal{L}_{cls}\) 是查询与可学习嵌入之间的对比损失，\(\mathcal{L}_{rt} = \text{std}(w_i)\) 是 MoE 路由器的负载均衡辅助损失（防止少数专家被过度激活），\(\lambda=5\)。
训练数据仅用 5% COCO（80 类）+ 5% ImageNet（1000 类，伪框）。加入 ImageNet 分类数据是为了减轻检测数据微调导致的图像编码器偏差。训练在 4x RTX 4090 上完成。
实验关键数据¶
主实验¶
在 CD-FSOD（6 个跨域数据集）和 ODinW13（13 个多样域数据集）上评估 Average Recall：
| 方法 | Prompt-Free | CD-FSOD AR100/300/900 | ODinW13 AR100/300/900 |
|---|---|---|---|
| GDINO (text prompt) | ✗ | 52.9/53.5/54.7 | 72.1/73.4/74.0 |
| GDINO ("object") | ✓ | 54.7/57.8/61.6 | 69.1/70.9/72.4 |
| YOLOE-v8-L | ✗ | 44.4/46.2/47.1 | 66.6/67.8/68.3 |
| GenerateU | ✓ | 47.7/54.1/55.7 | 67.3/71.5/72.2 |
| Cascade RPN | ✓ | 45.8/52.0/56.9 | 60.9/65.5/70.2 |
| PF-RPN (Ours) | ✓ | 60.7/65.3/68.2 | 76.5/78.6/79.8 |
PF-RPN 在 CD-FSOD 上比 Grounding DINO 提升 +7.8/+11.8/+13.5 AR，在 ODinW13 上提升 +4.4/+5.2/+5.8 AR。比 GenerateU 提升 +13.0 AR100，同时 VRAM 仅 0.5G（GenerateU 需 12.2G），推理速度快约 20 倍。
消融实验¶
| 配置 | CD-FSOD AR100 | 说明 |
|---|---|---|
| Baseline (GDINO) | 52.9 | 无任何模块 |
| + SIA | 57.8 | 视觉特征比文本更有效 (+4.9) |
| + SIA + CSP | 60.2 | 级联自提示减少遗漏 (+2.4) |
| + SIA + CG-QS | 59.6 | 中心性选择提升质量 (+1.8) |
| + SIA + CSP + CG-QS (Full) | 60.7 | 三模块互补，最优 |
关键发现¶
- SIA 模块贡献最大：单独加入即提升 4.9 AR，说明视觉特征作为查询比文本有效得多
- MoE 路由至关重要：去掉 MoE 在 CD-FSOD 上从 60.7 降到 58.6，在 ODinW13 上从 76.5 降到 68.7。注意力机制只在单层内运作，无法跨层选择
- CSP 迭代次数：3 次迭代 AR100=60.7，比 1 次（59.6）提升 1.1，延迟仅增加 ~4.6ms
- top-k 选择：\(k=2\) 最优（AR100=60.7），\(k=1\) 信息不足，\(k=3,4\) 引入冗余
- 集成到其他检测器有效：嵌入 DE-ViT 提升 +3.7 AP，嵌入 CD-ViTO 提升 +5.5 AP
- Backbone 无关：SwinB (+7.8 AR100) 和 ResNet50 (+5.2 AR100) 均有显著提升
亮点与洞察¶
- 真正的无提示检测：不依赖任何文本/图像/VLM，用可学习嵌入替代文本通道，消除了 OVD 在实际部署中的提示依赖瓶颈。这个思路可以迁移到其他需要跨模态对齐的任务中
- 数据效率极高：仅 5% COCO 训练就在 19 个跨域数据集上泛化良好，且进一步增加数据（5%→10%）收益递减，说明模型结构本身带来的泛化能力才是关键
- MoE 路由做特征层选择是一个优雅的设计：传统方法用 FPN 或注意力做多尺度融合，但这里用路由器先筛选最相关的特征层再做注意力，避免了无关层的噪声干扰
局限与展望¶
- 仅生成提案不分类：PF-RPN 只负责定位，不能给出类别名称。需要搭配下游分类器才能构成完整的检测系统
- 极端域差距泛化上限：在部分极端跨域场景（如 ArTaxOr 昆虫图像）可能仍有改进空间
- 静态阈值 \(\delta=0.3\)：CSP 模块使用固定的余弦相似度阈值，可能不适应所有场景，自适应阈值可能带来进一步提升
- 可学习嵌入的初始化：当前是随机初始化，如果用预训练的视觉原型来初始化可能能提升收敛速度和最终性能
相关工作与启发¶
- vs Grounding DINO: PF-RPN 基于 GDINO 框架，但移除了文本编码器和文本提示依赖，用 SIA+CSP+CG-QS 替代语言引导查询选择。在无提示设置下全面超越 GDINO，同时更快（移除了文本编码器的计算开销）
- vs GenerateU: GenerateU 用生成式方法将视觉区域映射到自由文本名称来实现无提示检测，但依赖大型 captioner，VRAM 高达 12.2G。PF-RPN 仅需 0.5G，速度快 20 倍，性能反而更好 (+13.0 AR100)
- vs YOLOE: YOLOE 虽然支持 prompt-free 检测，但其零样本泛化受限于静态文本代理。PF-RPN 通过动态视觉嵌入更新实现更强泛化
评分¶
- 新颖性: ⭐⭐⭐⭐ 用可学习嵌入替代文本提示+MoE路由+级联自提示的组合设计巧妙，但整体框架仍基于 GDINO
- 实验充分度: ⭐⭐⭐⭐⭐ 19个跨域数据集+完整消融+多backbone+集成实验+效率对比，非常全面
- 写作质量: ⭐⭐⭐⭐ 结构清晰，每个模块的动机和设计阐述到位，可视化辅助理解
- 价值: ⭐⭐⭐⭐ 解决了 OVD 实际部署的关键痛点，数据效率高、推理高效，实用性很强
相关论文¶
- [CVPR 2026] Mitigating Memorization in Text-to-Image Diffusion via Region-Aware Prompt Augmentation and Multimodal Copy Detection
- [CVPR 2026] UAVGen: Visual Prototype Conditioned Focal Region Generation for UAV-Based Object Detection
- [CVPR 2026] Training-free Detection of Generated Videos via Spatial-Temporal Likelihoods
- [CVPR 2025] UniGoal: Towards Universal Zero-shot Goal-oriented Navigation
- [CVPR 2026] PET-DINO: Unifying Visual Cues into Grounding DINO with Prompt-Enriched Training