STRNet: Visual Navigation with Spatio-Temporal Representation through Dynamic Graph Aggregation¶

会议: CVPR 2026
arXiv: 2604.02829
代码: https://github.com/hren20/STRNet
领域: 自动驾驶 / 具身智能
关键词: 视觉导航, 时空表征, 图神经网络, 扩散策略, 目标条件控制

一句话总结¶

STRNet 提出统一的时空表征框架用于视觉导航，通过图推理模块建模帧内空间拓扑结构，结合混合时间偏移和多分辨率差分卷积建模时序动态，显著提升了目标条件导航的成功率（比 NoMaD 提升 70%）。

视觉导航中，现有方法大量投入在改进决策模块（策略头、行为克隆、指令跟随），但视觉编码器通常只是 ImageNet 预训练 CNN + 简单时间池化。这种粗粒度的特征表示在到达决策层之前就模糊了关键的几何和运动线索。

核心问题：池化/平均注意力平滑了区分"靠近目标"和"横向移动"的微小光流信号；排列不变的自注意力忽略了门廊、走廊和障碍物之间的拓扑关系。

共享 CNN 提取逐帧特征 → 图聚合模块建模帧内空间几何 → 时间融合模块（混合时间偏移+多分辨率对比）注入运动线索 → 融合表征驱动两个轻量头：扩散策略头（生成控制动作）+ 时间距离回归头（估计到目标的进度）。

图聚合空间推理:
- 功能：捕获帧内区域间的拓扑结构和几何关系
- 核心思路：将每帧特征视为图——节点对应图像区域，边权重基于视觉对比度学习。图聚合模块进行空间推理，区分门、走廊、障碍物等结构元素。这比简单的注意力机制更能保持空间拓扑
- 设计动机：导航需要理解场景的空间布局——哪里是通道、哪里是障碍，图结构天然适合表示这种关系
混合时间偏移 + 多分辨率差分卷积:
- 功能：捕获时序运动动态
- 核心思路：混合时间偏移在不同通道间进行特征错位，以零额外参数注入相邻帧信息。多分辨率差分卷积在多个时间尺度上计算帧间差异，捕获不同速度的运动线索。两者结合产生紧凑但富含运动信息的时间表征
- 设计动机：时间池化丢失了运动信息，而全注意力太重。轻量的偏移+差分组合在效率和表达力间取得好的平衡
统一的导航表征:
- 功能：同时支持动作生成和进度估计
- 核心思路：融合后的时空表征同时驱动两个头：扩散策略头生成连续动作序列，时间距离回归头估计当前到目标的步数。两个任务共享表征，互相促进
- 设计动机：进度估计为策略提供了额外的目标感知信号，避免在接近目标时"绕远路"

扩散策略损失（去噪）+ 时间距离回归 MSE 损失。在导航数据集上端到端训练。

方法	2D-3D-S 成功率	CitySim 成功率	GRScenes 成功率
NoMaD	基线	基线	基线
NaviBridger	+小幅提升	+小幅提升	+小幅提升
STRNet	+70%	显著提升	显著提升

在三个数据集上一致显著提升，室内室外都有效。