FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment¶

会议: CVPR2026 arXiv: 2505.11192 代码: 待确认领域: 目标检测 / 视觉语言预训练 关键词: 假负样本, 对比学习, 视觉语言预训练, 负样本挖掘, mini-batch构造, 调度器

一句话总结¶

提出 FALCON，一种基于学习的 mini-batch 构造策略，通过负样本挖掘调度器自适应平衡硬负样本与假负样本之间的权衡，显著提升视觉语言预训练的跨模态对齐质量。

研究背景与动机¶

假负样本是VLP的核心挑战：大规模网络爬取数据集中图文存在多对多对应关系，对比学习中高相似度的"负样本"很可能其实是真正匹配的正样本（假负样本），引入矛盾监督信号。
硬负样本挖掘的两难困境：选择与anchor高度相似的负样本能加速学习，但相似度越高，假负样本风险越大；选择低相似度负样本则信息量不足。
最优相似度范围是动态的：不同anchor的语义复杂度不同，简单anchor的正样本分布紧凑，可安全挖掘更硬的负样本；复杂anchor的嵌入噪声大，需要更保守的挖掘策略。这一最优范围随训练进程不断变化。
预训练模型辅助并非万能：MAFA等方法用固定预训练模型的ITM分数过滤假负样本，但对复杂语义对存在低分误判问题（即使语义匹配也给低ITM分数），固定阈值要么过于保守要么不足。
启发式调度策略缺乏灵活性：固定硬度（如GRIT-VLP的q=1.0）或渐进式课程策略（Progressive-Hardening/Softening）无法捕捉实例级、训练阶段级的动态变化。
现有方法依赖超参数且泛化性受限：两阶段选负样本+过滤框架对阈值高度敏感，假负样本率最高可达60%。

方法详解¶

整体框架¶

FALCON 在 VLP 训练中替换传统的均匀采样或固定硬负样本挖掘，引入一个可学习的负样本挖掘调度器 \(\pi_\phi\)。基于 GRIT-VLP 的分组策略扩展，数据集被划分为多个局部搜索空间 \(\{M\}\)。流程为：

从局部搜索空间 \(M\) 中均匀选择初始样本作为anchor
调度器 \(\pi_\phi\) 以当前归一化相似度分布 \(\widehat{\mathbf{S}}\) 为输入，为每个anchor预测一个硬度分位数 \(q \in [0,1]\)
按照预测的 \(q\) 值从候选池中选择对应相似度水平的样本加入mini-batch（\(q=1.0\) 退化为GRIT-VLP，\(q=0.0\) 为最简单负样本）
递归执行直到mini-batch大小达到 \(B\)，每步排除已选样本
构造完成后用该mini-batch更新VLP模型参数 \(\theta\)，同时计算调度器的策略梯度更新 \(\phi\)

调度器设计¶

输入构造：将I2T和T2I的余弦相似度矩阵相加得到统一相似度矩阵 \(\mathbf{S}\)，从每行取 \(m\) 个均匀间隔分位数压缩表示（\(m \ll |M|\)），再做行级softmax归一化得到 \(\widehat{\mathbf{S}}\)，消除训练中相似度尺度变化的影响
网络结构：轻量级4层残差MLP，将 \(\widehat{\mathbf{S}}\) 映射为Beta分布参数 \((\alpha, \beta)\)，从Beta分布中采样得到硬度分位数 \(q\)
排列等变性：输入前对 \(\widehat{\mathbf{S}}\) 的行进行排序，以轻量方式实现排列等变性，避免使用Transformer等重型架构
实例级调度：为每个anchor独立预测硬度分位数，而非batch级共享单一阈值
缓存复用：利用已有的CLS嵌入队列计算相似度矩阵，无需额外前向传播

训练目标与损失¶

调度器的训练信号为MLM损失的下降量作为跨模态对齐改善的代理：

\[\phi_{k+1} = \phi_k + \gamma \cdot \mathbb{E}_{\pi_{\phi_k}}\left[\Delta_k^{V,T} \cdot \nabla_{\phi_k} \log \pi_{\phi_k}(V,T|\widehat{\mathbf{S}})\right]\]

其中 \(\Delta_k^{V,T} = \mathcal{L}_{\text{MLM}}(V,T;\theta_k) - \mathcal{L}_{\text{MLM}}(V,T;\theta_{k+1})\)。选择MLM而非ITC/ITM作为代理的原因是：对比目标会诱导调度器选择trivial负样本来最小化损失，反而损害训练效果。

实验¶

主实验：与启发式负样本挖掘方法对比（MSCOCO预训练）¶

方法	TR R@1	TR R@5	IR R@1	IR R@5	VQA test-dev	NLVR2 dev
ALBEF	55.60	81.92	41.16	70.63	70.46	72.98
GRIT-VLP	60.60	83.52	44.61	69.54	71.04	74.63
MAFA	60.96	83.24	44.77	69.49	71.13	75.16
FALCON	62.28	86.18	46.18	74.65	71.24	75.17

跨框架兼容性（BLIP-2 & SigLIP-2）¶

框架	基线 COCO TR R@1	+FALCON TR R@1	基线 COCO IR R@1	+FALCON IR R@1
BLIP-2	75.22	75.56	57.98	58.52
SigLIP-2	69.96	72.96	54.21	54.15

消融实验关键发现¶

搜索空间大小影响：

|M|=480 → TR R@1: 58.48；|M|=5664 → 61.72；|M|=28320 → 61.94
FALCON对大搜索空间鲁棒，而基线方法（如GRIT-VLP）因假负样本增多而退化

训练目标选择：

仅 \(\mathcal{L}_\text{MLM}\)：TR R@1 = 61.72（最佳）
\(\mathcal{L}_\text{ITC}+\mathcal{L}_\text{ITM}\)：TR R@1 = 57.64（显著下降）
\(\mathcal{L}_\text{ITC}+\mathcal{L}_\text{ITM}+\mathcal{L}_\text{MLM}\)：TR R@1 = 57.80
结论：对比目标会诱导调度器选择trivial负样本，生成目标（MLM）作为代理更合理

调度粒度：

实例级调度（61.72）远优于Batch级（58.78），证实最优硬度是anchor-dependent的，统一阈值不足以覆盖不同语义复杂度的样本

训练动态与泛化¶

自适应调度行为：训练早期FALCON倾向采样高分位数（硬负样本）加速嵌入学习；随嵌入空间成熟、假负样本在高分位聚集，调度器自动降低分位数规避假负样本风险
4M标准数据集：在包含CC、SBU等web噪声数据的4M设置上也取得最佳性能（COCO zero-shot TR R@1: 74.1 vs MAFA 72.6 vs ALBEF 68.7）
收敛效率：收敛时间为ALBEF的0.83C，略高于GRIT-VLP(0.65C)和MAFA(0.76C)，但性能-时间曲线（Recall@1 vs wall-clock）始终优于所有基线
对搜索空间鲁棒：FALCON在|M|从480扩大到28320时性能稳步提升后趋于稳定，而GRIT-VLP在大搜索空间下因假负样本增多而性能退化

亮点¶

首个学习型负样本调度方法：将硬/假负样本权衡从手动启发式提升为可学习优化问题，是对比学习中负样本管理的新范式
设计精巧且高效：4层残差 MLP + Beta分布参数化 + 行排序实现等变性，调度器计算开销极小，不成为训练瓶颈
理论动机清晰：用 MLM 损失下降作为跨模态对齐代理，通过实验验证对比目标会诱导 trivial 负样本陷阱，设计选择有充分理据
广泛适用性：在ALBEF、BLIP-2、SigLIP-2三种不同架构（融合型/Q-Former/双塔型）上均有效，证明方法的通用性
详尽的可视化分析：提供了调度器行为随训练变化的可视化、分位数采样示例、相似度分布演变图等，直观展示自适应机制

局限性¶

SigLIP-2上文本端改善有限（IR R@1几乎无提升），因辅助生成损失仅经过视觉编码器，调度信号偏向视觉侧
在噪声严重的web数据集上增益减小（相比干净MSCOCO的增益更小），语义不对齐的原始caption干扰硬度估计
调度器需要额外前向传播和更新，每epoch训练成本略高于GRIT-VLP和MAFA（0.83C vs 0.65C/0.76C）
依赖缓存的CLS嵌入构建相似度矩阵，嵌入的滞后性可能影响早期训练精度
代理信号需要与两个模态编码器都有关联才能充分发挥作用，纯视觉侧或纯文本侧的生成目标效果受限
当前仅在检索、VQA、NLVR等任务上验证，尚未在更广泛的下游任务（如visual grounding、图像生成）上测试

评分¶

新颖性: ⭐⭐⭐⭐ — 首次将负样本硬度调度建模为可学习优化问题，Beta分布参数化和MLM代理信号设计新颖
实验充分度: ⭐⭐⭐⭐⭐ — 三种VLP框架、多种下游任务、详尽消融、训练动态可视化、wall-clock对比
写作质量: ⭐⭐⭐⭐ — 动机论证充分（图2的假负样本率分析很有说服力），公式推导完整，图表清晰
价值: ⭐⭐⭐⭐ — 方法通用、即插即用，假负样本问题在大规模VLP中普遍存在，实用性强