Follow the Saliency: Supervised Saliency for Retrieval-augmented Dense Video Captioning¶

会议: CVPR 2026 arXiv: 2603.11460 代码: GitHub 领域: 分割 关键词: 密集视频描述, 显著性学习, 检索增强, 时序分割, 最优传输

一句话总结¶

提出 STaRC 框架，通过有监督的帧级显著性学习统一驱动检索（显著性引导分割+检索）和描述生成（显著性提示注入解码器），显著提升密集视频描述(DVC)任务中的时序对齐和字幕质量。

研究背景与动机¶

密集视频描述(DVC)需要在长视频中检测多个事件并为每个事件生成自然语言描述，与单句视频描述有本质区别。近年来，检索增强方法通过从外部数据库检索相关字幕来增强解码器的事件理解能力，取得了良好效果。

然而，检索操作依赖于视频分割——将帧聚类形成片段——分割质量直接影响字幕生成质量。现有方法在时序分割上存在明显缺陷： - HiCM2：使用均匀采样构成固定长度片段，无法适应变长事件 - Sali4Vid：基于帧间相似度变化推导边界，但显著性是通过时间戳启发式推导的，未经过有监督学习

作者通过相关性分析验证了一个关键发现：片段质量指标（Recall@0.5、Mean IoU、Matched Segments）的提升与下游 DVC 指标（CIDEr、METEOR）呈强正相关。当片段边界更贴近真实事件边界时，检索到的字幕更相关，解码器获得的上下文信息更准确。这一发现明确指出需要一个能改善片段与真实事件对齐的框架。

方法详解¶

整体框架¶

STaRC 由三个核心部分组成： 1. 滑动窗口自注意力(SWSA) 精炼帧特征 2. 高光检测模块 预测有监督的帧级显著性分数 3. 统一显著性设计：显著性引导分割与检索(SGSR) + 显著性提示(SaliP)

输入视频通过冻结的 CLIP ViT-L/14 提取空间嵌入，经过时序 Transformer 编码后送入后续模块。标签直接从 DVC 标注的事件边界转换而来，无需额外标注成本。

关键设计¶

滑动窗口自注意力(SWSA)：在显著性预测前对帧特征进行局部上下文增强。使用多尺度滑动窗口 \(\{w_1, w_2, w_3\}\)（大小为 8, 32, 64），在不引入可学习参数的情况下聚合邻域信息。重叠输出按覆盖次数平均，通过残差连接得到精炼特征 \(X'\)。设计动机：不同尺度的局部注意力能捕获不同粒度的时序依赖，且无参数设计避免过拟合。
有监督显著性学习：采用高光检测模块，结合局部帧特征 \(X'\) 和全局视频特征 \(X'_g\)（通过注意力池化获得），计算帧级显著性分数：\(P_s(x'_n) = \frac{(x'_n \mathbf{W}_1^\top)(x'_{n_g} \mathbf{W}_2^\top)^\top}{\sqrt{D}}\)。训练目标使用 listwise softmax 损失：将事件边界内的帧标为 1、其余标为 0 作为二值标签，让标注帧在 softmax 竞争中获得更高概率。这是本文的核心创新——将 DVC 标注"免费"转化为显著性监督信号。
显著性引导分割与检索(SGSR)：使用最优传输(OT)聚类代替启发式分割。定义 \(K\) 个可学习锚点作为语义原型，以两种方式注入显著性：(a) 在帧侧施加不平衡 OT，用 \(p_s\) 作为帧边际分布的软约束（KL 散度项 \(\gamma D_{\text{KL}}(\mathbf{T}^\top \mathbf{1}_K \| p_s)\)），使显著帧获得更高传输质量；(b) 将 \(p_s\) 作为偏置项加入 KOT 代价矩阵 \(C^k_{nj} = (1 - \text{cos}(x^s_n, a_j)) - \mu p_{s_n}\)，优先分配显著帧。通过对齐分数 \(\mathcal{S}_{\text{OT}}\) 和长度正则化 \(\mathcal{S}_{\text{len}}\) 的乘积排序，选择 top-k 片段用于检索，并采用显著性加权平均池化构建片段表示。
显著性提示(SaliP)：将帧级显著性分数通过可学习线性层投影为提示向量 \(S\)，与帧特征 \(X'\)、检索嵌入 \(R\)、转录文本 \(Y\) 拼接为统一序列：\(T_{in} = [X'; S; R; Y]\)。这使解码器在生成字幕时能直接关注语义重要的帧，而非像 Sali4Vid 那样隐式地将显著性乘以视频特征。

损失函数 / 训练策略¶

总损失：\(\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{CE}} + \lambda \mathcal{L}_{\text{saliency}}\)
训练时解码器使用原始帧特征 \(X\)（细粒度文本对齐），推理时使用精炼特征 \(X'\)（丰富时序上下文）
基于 Vid2Seq 预训练模型（1.8M 视频-文本对），先按原始配置预训练，再微调 10 个 epoch
学习率 1e-5，线性预热 + 余弦衰减，单卡 A6000，batch size 4
YouCook2: \(\lambda=6.0\); ViTT: \(\lambda=2.0\)

实验关键数据¶

主实验¶

数据集	指标	STaRC	Sali4Vid (之前SOTA)	提升
YouCook2	CIDEr	80.53	75.80	+4.73
YouCook2	METEOR	13.86	13.54	+0.32
YouCook2	SODA_c	10.73	10.28	+0.45
YouCook2	BLEU_4	6.75	6.35	+0.40
YouCook2	F1 (定位)	34.34	33.61	+0.73
ViTT	CIDEr	56.04	53.87	+2.17
ViTT	METEOR	10.49	10.05	+0.44

STaRC 在 YouCook2 和 ViTT 上大多数指标达到 SOTA。

消融实验¶

配置	CIDEr	METEOR	说明
Baseline (Vid2Seq)	66.29	12.41	无显著性组件
+ SGSR	76.94	13.60	仅改善分割 +10.65
+ SaliP	78.74	13.75	仅注入提示 +12.45
SGSR + SaliP (完整)	80.53	13.86	两者互补 +14.24
去掉 SWSA	75.82	13.23	特征精炼有益
k-means 分割	75.63	13.34	OT 显著优于 k-means
Adaptive clustering	78.19	13.69	OT 优于自适应聚类

关键发现¶

SGSR 和 SaliP 各自独立有效，组合后进一步提升，验证了统一显著性设计的互补性
滑动窗口大小 8, 32, 64 的三窗口配置最优；过大窗口反而损害性能
检索数量 \(p=10\) 效果最佳，过少信息不足，过多引入噪声
显著性提示质量很重要：高斯噪声替代会显著降低性能，零向量替代也不如真实显著性分数

亮点与洞察¶

"免费"监督信号：将 DVC 数据集现有的事件边界标注直接转化为帧级显著性标签，无需额外标注成本，这个思路非常巧妙且实用
统一信号设计：同一个显著性分数同时服务于检索（SGSR）和生成（SaliP），确保了分割和字幕生成之间的时序一致性
最优传输 + 显著性偏置：在 OT 框架中通过帧边际约束和代价矩阵偏置双重注入显著性，理论基础扎实
训练-推理特征不对称：训练用原始特征保证文本对齐精度，推理用精炼特征提供更丰富上下文，设计巧妙

局限性 / 可改进方向¶

依赖 Vid2Seq 的 1.8M 预训练，未与非预训练方法做公平对比（虽然分组展示了）
ViTT 上 F1 定位指标(44.34)低于 Sali4Vid(46.58)和 HiCM2(45.98)，说明在短标签数据上分割未必更优
SWSA 模块无可学习参数，与可学习的局部注意力对比实验缺失
显著性标签为硬二值标签，未考虑事件边界附近的渐变过渡，可能引入边界噪声

评分¶

新颖性: ⭐⭐⭐⭐ 将显著性学习统一到检索和生成两个通道的思路清晰且有效
实验充分度: ⭐⭐⭐⭐ 组件消融、超参分析、定性对比全面；但跨数据集泛化测试不足
写作质量: ⭐⭐⭐⭐ 动机清晰（相关性分析图很有说服力），结构紧凑
价值: ⭐⭐⭐⭐ DVC 领域的实质性进展，统一显著性范式有推广潜力