FrameVGGT: Frame Evidence Rolling Memory for streaming VGGT¶

会议: CVPR 2025
arXiv: 2603.07690
代码: 无
领域: 3D视觉
关键词: 流式3D重建, KV缓存管理, 有界内存, VGGT, 在线几何推理

一句话总结¶

提出 FrameVGGT，将流式 VGGT 的 KV 缓存从 token 级保留重组为帧级证据块保留，通过中期记忆库+稀疏锚点的双层有界内存结构，在固定内存预算下保持更连贯的几何支撑，实现长序列3D重建/深度/位姿估计的精度-内存最优权衡。

研究背景与动机¶

领域现状：几何基础模型（如 DUSt3R、MASt3R、VGGT）能从图像直接前馈推理几何信息（深度、位姿、对应关系），但设计为固定大小输入。将其扩展到在线长序列流式场景是核心需求。
现有痛点：流式扩展面临根本矛盾——稳定几何推理需要历史证据，但缓存所有历史会导致内存和延迟随序列长度无界增长。现有方案要么用隐式压缩（如 CUT3R、TTT3R）将历史折叠为潜在状态但会丢失长程约束导致漂移，要么用显式累积（如 StreamVGGT）保留完整历史但内存无界增长。
核心矛盾：InfiniteVGGT 尝试通过 token 级保留实现有界内存，但存在粒度不匹配问题：token 级保留的单元比几何估计需要的支撑单元更细粒度。在固定预算下，token 级裁剪会逐渐稀疏化帧内支撑、碎片化时空证据，导致下游融合对噪声和偶然显著性更敏感。
本文要解决什么：如何在严格有界内存下组织 Transformer KV 缓存，使保留的内存仍能提供连贯的几何支撑？
切入角度：将保留粒度与几何估计的支撑粒度对齐——几何推理依赖的是帧内相互兼容的多视角证据组，而非孤立的显著 token。
核心idea一句话：将 KV 缓存的保留单元从 token 提升到帧级证据块，用余弦距离度量互补性，贪心选择最大化覆盖的帧块子集。

方法详解¶

整体框架¶

输入为无界视频流 \(\mathcal{I}=\{I_t\}_{t\geq 1}\)，每帧经过预训练 VGGT 骨干编码生成逐层 KV 块。FrameVGGT 将这些 KV 块按帧分组为证据块，维护两层有界内存：(1) 中期记忆库（Middle Bank）保存互补性最强的帧块子集，(2) 稀疏锚点层（Anchor Tier）保留少量持久的长程参考帧。每步推理时，从这两层内存中加载选中的缓存作为新帧推理的条件。

关键设计¶

帧级证据块（Frame-wise KV Block）:
做什么：将每帧产生的 KV 增量缓存视为一个完整证据块，而非独立 token 池
核心思路：对每层 \(l\) 的帧块 \(B_t^{(l)}\)，通过对所有 head 和 token 的 key 向量求平均得到轻量原型 \(v_t^{(l)} = \frac{1}{H|T_t|}\sum_{h,\tau} K_{t,h,\tau}^{(l)}\)，L2 归一化后用余弦距离 \(d(B_i, B_j) = 1 - \langle \bar{v}_i, \bar{v}_j \rangle\) 度量块间距离
设计动机：对齐保留单元与几何支撑单元，避免 token 级裁剪导致的帧内支撑稀疏化
中期记忆库（Middle Bank）:
做什么：在容量上限 \(B_M\) 下，保留最互补的帧块子集
核心思路：近似求解 metric k-center 目标 \(\min_{S} \max_{B \in M_t} \min_{B' \in S} d(B, B')\)，用增量贪心最远点选择实现——以最新帧初始化，每步加入当前覆盖得分 \(m(B) = \min_{B' \in S} d(B, B')\) 最大的帧块，然后更新得分
设计动机：最大化帧块多样性/互补性，避免慢运动下的近似重复观测占满内存；每层独立选择，允许不同层保持适合自身表示尺度的内存结构
稀疏锚点层（Anchor Tier）:
做什么：保留少量持久参考帧，用于局部滚动记忆不可靠时的 fallback
核心思路：需满足最小时间间隔 \(\Delta_t \geq G\) 才能晋升，晋升依据几何可靠性 \(\Phi(i) = q_i \cdot s_i\)（置信度×锐度）和相对现有锚点的新颖性 \(\nu(i) = \min_{a} (1 - \langle \bar{p}_i, \bar{p}_a \rangle)\)（基于位姿签名余弦距离），最多保留 \(B_A\) 个锚点，首帧永久保留，其余 FIFO 淘汰
设计动机：模糊、遮挡、弱视差或旋转主导运动时，中期记忆库可能不可靠，少量稳定长程参考有助于保持全局一致性

训练策略¶

FrameVGGT 是即插即用的推理时滚动内存机制，基于固定预训练骨干，无需重新训练或微调。

实验关键数据¶

主实验（3D 重建）¶

方法	7-Scenes Acc↓	7-Scenes Comp↓	7-Scenes NC↑	NRGBD Acc↓	NRGBD NC↑
CUT3R	0.181	0.095	0.525	0.322	0.553
TTT3R	0.060	0.028	0.560	0.161	0.602
InfiniteVGGT	0.041	0.024	0.561	0.078	0.647
Ours(16)	0.033	0.019	0.564	0.053	0.663
Ours(24)	0.028	0.019	0.564	0.054	0.670

位姿估计（TUM 数据集）：Ours(16) ATE 0.0386 vs InfiniteVGGT 0.0478（↓19%），深度估计（Bonn）：Ours(16) AbsRel 0.0525 vs InfiniteVGGT 0.0560。

消融实验¶

配置	7-Scenes Acc↓	NRGBD Acc↓	说明
Ours M=16 (Recent-0)	0.033	0.053	全中期库，最优
Recent-2	0.037	0.056	保留2帧最近帧，掉点
Recent-4	0.053	0.066	保留4帧最近帧，显著退化
Recent-6	0.069	0.085	最近帧越多越差
24 Mid + 0 Anchor	基线	—	无锚点
20 Mid + 4 Anchor	↑稍好	—	锚点在困难序列有帮助

关键发现¶

中期容量从12→24逐渐提升精度，但边际收益递减（约 M=20 趋近饱和）
近邻帧保留（Recent-K）策略一致差于纯中期库——相邻帧高度冗余，挤占互补中期证据
锚点在模糊/遮挡/弱视差场景有针对性帮助，但过度分配反而稀释中期内存
内存占用：M=16 约 2.4GB vs InfiniteVGGT ~6.9GB，在更低内存下取得更好精度

亮点与洞察¶

粒度对齐思想非常巧妙：不是简单选"重要token"，而是识别到几何推理的最小有效单元是帧级证据块，保留单元应与推理支撑单元对齐。这一思路可推广到任何需要多元素协同的 Transformer 任务
零训练开销：纯推理时机制，不修改预训练权重，即插即用
k-center 贪心策略在实践中简洁有效，用原型向量避免了物化注意力矩阵，每层独立选择也很优雅

局限性 / 可改进方向¶

锚点选择依赖手工设计的间隔/可靠性评分，可能在不同数据分布上需要调参
帧级保留粒度对所有帧等同对待，但有些帧可能只有部分 token 有价值（如大面积遮挡帧的有效区域集中在局部）
仅在 VGGT 骨干上验证，是否适用于其他几何基础模型（如 DUSt3R 系列）需进一步验证
中期库选择基于 key 空间余弦距离，更好的方法可能是直接用下游任务的几何一致性信号来指导选择
每层独立选择帧块虽然灵活但增加了不同层间内存状态的不一致性，可能导致跨层特征整合时的信息失配
贪心最远点选择是 k-center 的2-近似，在极端分布（如环状运动快速回到起点）下可能选出冗余帧

评分¶

新颖性: ⭐⭐⭐⭐ 粒度对齐的核心洞察很有价值，但整体框架较增量
实验充分度: ⭐⭐⭐⭐⭐ 三个任务、多个消融、内存预算扫描都很充分
写作质量: ⭐⭐⭐⭐ 分析清晰，但有些冗长
价值: ⭐⭐⭐⭐ 对流式3D重建有实际部署价值