SFDE: Spatial and Frequency Domain Enhancement for Cross-View Geo-Localization¶

日期: 2026-03-03
arXiv: 2603.02726
代码: https://github.com/Mashuaishuai669/SFDE
领域: 模型压缩
关键词: 跨视角地理定位, 频域增强, 多尺度几何建模, 无人机-卫星匹配, 轻量化

一句话总结¶

SFDE 提出空间-频率域协同增强网络，通过全局语义一致性、局部几何敏感性和频率稳定性对齐三个互补分支的并行学习，在 UAV-卫星跨视角地理定位中以轻量化设计取得竞争力甚至超越 SOTA 的性能。

领域现状：跨视角地理定位（CVGL）通过匹配不同视角（UAV 和卫星）图像实现 GNSS 拒止环境下的定位。深度学习时代从全局描述子到区域权重、多尺度融合不断进步。
现有痛点：(1) 空间域特征对视角变化敏感——UAV 斜拍 vs 卫星正射产生严重几何不对称（透视畸变、遮挡、非均匀尺度变化），破坏了卷积/注意力的空间邻域一致性假设。(2) 频域信息未被充分利用——低频能量分布的幂律衰减和相位梯度的拓扑不变性具有跨视角稳定性，但现有方法仅做浅层频率操作。
核心矛盾：单一空间域在极端视角变化下不可靠，需要互补的表示维度。频域的统计稳定性是天然补充，但缺乏系统化的联合学习框架。
切入角度：三分支并行架构——全局语义做粗匹配锚点、多尺度几何做精细局部对应、频域统计做跨域稳定性约束，三者在统一嵌入空间联合优化。
核心 idea 一句话：空间域的全局+局部 + 频率域的振幅+相位，三分支互补学习实现鲁棒的跨视角地理定位。

ConvNeXt-Tiny 共享骨干提取特征 → 三个并行分支：GSCB（全局语义一致性）、LGSB（局部几何敏感性）、FSAB（频率稳定性对齐）→ 各自损失联合优化。

全局语义一致性分支（GSCB）：
- 全局平均池化 → DEC 模块增强判别性
- 功能：建立稳定的全局语义锚点，区分相似布局的不同地理区域
- 监督：交叉熵损失
局部几何敏感性分支（LGSB）：
- 三个并行 3×3 空洞卷积（dilation rate 1, 2, 3），通道降为 C/4
- 交互注意力机制：最细粒度和最粗粒度特征拼接生成注意力权重 \(\omega_1\)，加权融合三个尺度
- 自适应空间金字塔（4 个尺度，可学习权重 \(\alpha\)）+ GeM 池化
- 残差融合保留低层细节：\(f^{dl} = \frac{1}{2}(\tilde{f}^{d}_{+++} + f^d)\)
- 监督：InfoNCE 损失
频率稳定性对齐分支（FSAB）：
- 2D FFT 分离振幅谱和相位谱
- 通道级调制：全局池化 → bottleneck → Sigmoid 得到 \(W_c\)
- 空间级调制：3×3 卷积 → Sigmoid 得到 \(W_s\)
- ALFI（自适应可学习频率重要性）：通道校准参数 \(\tau\)
- 振幅+相位拼接 → 位置编码 → 自注意力捕捉长程频谱依赖
- 三路径重建：原始空间特征 + 注意力增强的频率重建 + 无注意力的频率重建
- 监督：域和空间对齐损失 \(L_{DSA}\)

\(\mathcal{L} = 0.1 \mathcal{L}_{CE} + 1.0 \mathcal{L}_{InfoNCE} + 1.3 \mathcal{L}_{DSA}\)

频域对齐损失权重最高（1.3），反映频域稳定性在跨视角场景中的重要性。

方法	Drone→Sat R@1	Drone→Sat AP	Sat→Drone R@1
Sample4Geo	92.65	93.81	95.14
MEAN	93.55	94.53	96.01
DAC (SOTA)	94.67	95.50	96.43
SFDE	93.75	94.72	96.72