Spectral Defense Against Resource-Targeting Attack in 3D Gaussian Splatting¶
会议: CVPR 2025
arXiv: 2603.12796
代码: 待确认
领域: 3D视觉 / AI安全
关键词: 3D Gaussian Splatting, 对抗防御, 资源攻击, 频域分析, 频率感知剪枝
一句话总结¶
针对 3DGS 的资源瞄准攻击（通过投毒训练图像触发高斯过度增长导致资源耗尽），提出频域防御：3D 频率滤波器通过将高斯协方差与频谱响应关联实现频率感知剪枝，2D 频谱正则化通过熵惩罚渲染图像的角向能量各向异性来抑制攻击噪声，实现高斯数量压缩 5.92×、内存减少 3.66×、速度提升 4.34×。
研究背景与动机¶
- 领域现状：3DGS 通过自适应高斯致密化实现高质量渲染，成为 3D 重建主流方法。但这种自适应机制暴露了新的攻击面——资源瞄准攻击。
- 现有痛点：Poison-Splat 攻击通过向训练图像注入微小扰动，使 3DGS 优化器将噪声模式误判为细节结构，触发过度致密化，导致 GPU 内存耗尽和训练速度暴降。现有防御（图像平滑、通用阈值）要么破坏真实细节要么不同场景无法通用。
- 核心矛盾：投毒扰动在像素域不可见但在频域表现为异常的高频放大和方向性各向异性。空间域检测不可靠，但频域特征可区分。
- 本文要解决什么：如何在训练监督被投毒的情况下，从频域角度同时抑制高斯过度增长和渲染图像中的攻击伪影？
- 切入角度：发现投毒图像在频谱上表现为异常高频放大和角向能量各向异性（正常图像的高频能量近似各向同性），从而在 3D 参数空间和 2D 渲染空间分别设计频域防御。
- 核心idea一句话：投毒攻击的根因是频谱行为异常而非空间结构异常——频域防御同时在 3D 高斯剪枝和 2D 渲染正则化上起效。
方法详解¶
整体框架¶
两个互补组件联合工作： - 3D 频率滤波器：在高斯参数空间中周期性剪枝异常高频响应的 splat - 2D 频谱正则化：在渲染图像空间中通过频域先验约束角向能量分布 - 两者集成到标准 3DGS 训练循环中（Algorithm 1）
关键设计¶
- 3D 频率滤波器（高斯频率表征 → 频率感知剪枝）：
- 做什么：将高斯协方差与其高频响应关联，选择性移除异常高频 splat
- 核心思路：高斯 \(G(\mathbf{x})\) 的傅里叶变换振幅由 \(\gamma(t) = (2\pi)^{3/2}|\Sigma|^{1/2}\exp(-2\pi^2 t^\top \Sigma t)\) 决定。协方差 \(\Sigma\) 的最小特征值 \(\sigma_{\min}\) 控制最窄空间扩展——越小则高频响应越强。定义打分：\(\mathcal{S}(G) = \exp(-2\pi^2 t^2 \sigma_{\min}^2)\)，\(\mathcal{W}(G) = (1-\mathcal{S}(G))^\alpha\)
- 结合 ray-hit \(\text{hit}(G)\)，综合得分 \(\text{score}(G) = \mathcal{W}(G) \cdot \text{hit}(G)\)，每 \(T_{\text{prune}}=100\) 步剪枝最低 \(\rho\) 比例
-
设计动机：攻击诱导的 splat 通常很小（\(\sigma_{\min}\) 极低）且观测稀少（低 hit），自然获得低分被优先剪枝
-
2D 频谱正则化（角向各向异性惩罚）：
- 做什么：约束渲染图像的高频能量在角度方向上均匀分布
- 核心思路：对渲染图像做 2D DFT，提取高频带 \(\mathcal{E}(u,v)\)，将角域 \([-\pi, \pi)\) 分为 \(B\) 个扇区，计算角向能量 \(\mathcal{E}_b\) 和概率分布 \(\mathcal{P}_b = \mathcal{E}_b / \sum_j \mathcal{E}_j\)
- 各向异性损失基于归一化熵：\(\mathcal{L}_{\text{ani}} = 1 - \frac{\mathcal{H}}{\log B}\)，其中 \(\mathcal{H} = -\sum_b \mathcal{P}_b \log \mathcal{P}_b\)
-
设计动机：干净图像的高频能量近似各向同性（熵接近最大值），投毒图像的能量集中在少数角方向（熵低）。惩罚各向异性可抑制条纹/带状伪影同时保留自然纹理
-
联合优化：
- 总损失：\(\min_{\mathcal{G}} (\mathcal{L}(\dot{\mathcal{V}}^p, \mathcal{V}^p) + \lambda(\mathcal{L}_{\text{freq}}(\dot{\mathcal{V}}^p) + \mathcal{L}_{\text{tv}}(\dot{\mathcal{V}}^p)))\)
- 3D 剪枝每 100 步执行一次，2D 正则化每步都参与梯度更新
损失函数¶
标准 3DGS 重建损失 \((1-\lambda)\mathcal{L}_1 + \lambda \mathcal{L}_{\text{D-SSIM}}\) + 频域正则（各向异性 + TV）
实验关键数据¶
主实验（Tanks&Temples + NeRF-Synthetic + Mip-NeRF360）¶
| 场景 | 度量 | Clean | Poison | Defense | 攻击/防御倍率 |
|---|---|---|---|---|---|
| TT-Auditorium | 高斯数(M) | 0.692 | 2.740 (3.96×↑) | 0.907 (3.02×↓) | — |
| TT-Auditorium | 内存(MB) | 4918 | 15280 (3.11×↑) | 7633 (2.00×↓) | — |
| TT-Courtroom | 高斯数(M) | 2.950 | 5.403 (1.83×↑) | 1.903 (2.84×↓) | — |
| TT-Family | 高斯数(M) | 2.119 | 3.696 (1.74×↑) | 1.298 (2.85×↓) | — |
| 总体最佳 | 过度增长抑制 | — | — | — | 5.92× |
| 总体最佳 | 内存减少 | — | — | — | 3.66× |
| 总体最佳 | 速度提升 | — | — | — | 4.34× |
消融实验¶
| 配置 | 高斯数↓ | PSNR | 说明 |
|---|---|---|---|
| 无防御(Poison) | 高 | 低 | 过度增长+伪影 |
| 仅3D频率滤波 | 中 | 中 | 有效抑制数量但渲染仍有噪声 |
| 仅2D频谱正则 | 中高 | 中高 | 改善渲染质量但数量未大幅下降 |
| 两者联合 | 最低 | 最高 | 互补：3D控数量+2D控质量 |
关键发现¶
- 3D 滤波器和 2D 正则化高度互补——前者在参数空间抑制数量增长，后者在图像空间约束渲染质量
- 频率感知剪枝比基于不透明度/梯度的通用剪枝在投毒场景下更有效——因为攻击诱导的 splat 有独特的频域特征
- 防御后渲染质量接近甚至在某些场景超过 clean baseline——因为频率正则化同时作为正则项提升了训练稳定性
- 角向各向异性是区分投毒和正常高频的关键信号——自然纹理的高频能量分布近似均匀
亮点与洞察¶
- 从频域角度理解攻击机制：投毒的本质不是添加可见噪声，而是注入异常频谱结构——这一洞察将防御从像素域提升到频率域
- 高斯协方差↔频谱响应的优雅对应：\(\Sigma\) 的特征值直接决定高斯的频率贡献——利用运算已有的参数做安全评估，零额外开销
- 角向各向异性作为信号：区分自然高频（各向同性）和攻击高频（各向异性）是一个可迁移到其他渲染安全问题的有用信号
局限性 / 可改进方向¶
- 剪枝比例 \(\rho\) 和频率截止 \(t\) 是超参数——不同攻击强度可能需要不同设置
- 仅验证了 Poison-Splat 一种攻击——其他类型的 3DGS 攻击（如精度瞄准）未覆盖
- 频谱正则化增加了每步的 FFT 计算开销
- 防御假设攻击注入各向异性频谱——如果攻击者知道防御机制可能设计各向同性投毒
相关工作与启发¶
- vs Poison-Splat: Poison-Splat 提出攻击但仅讨论了简单防御（平滑/阈值）。本文是首个系统性的 3DGS 防御方案
- vs 效率导向剪枝 (LightGaussian, PUP): 这些方法为压缩设计，缺乏区分攻击诱导 vs 真实高频的能力
- 对 3DGS 安全研究有重要参考价值——频域分析的思路可推广到精度瞄准攻击/后门攻击的防御
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首个 3DGS 资源攻击防御方案，频域视角独特而优雅
- 实验充分度: ⭐⭐⭐⭐ 三个数据集、clean/poison/defense 三种设置、消融充分
- 写作质量: ⭐⭐⭐⭐ 问题定义清晰，频域分析有说服力
- 价值: ⭐⭐⭐⭐ 对 3DGS 安全和鲁棒性有实际意义
领域: 3D视觉 / AI安全
关键词: 3DGS安全, 对抗攻击, 频谱防御, Gaussian剪枝, 资源耗尽攻击
一句话总结¶
本文提出了针对 3DGS 资源耗尽攻击的频谱防御方法，在 3D 频域（通过傅里叶分析连接 Gaussian 协方差与高频响应，剪枝异常高频 splat）和 2D 频域（用熔正则化惩罚各向异性角度能量分布）联合防御，将 Gaussian 过度生长抑制 5.92×，内存减少 3.66×，速度提升 4.34×，同时保持渲染质量。
研究背景与动机¶
- 领域现状：3DGS 的自适应生长机制是其核心优势，但也成为攻击面。
- 现有痛点：恶意注入难以察觉的高频扰动可触发 Gaussian 过度膨胀，导致内存耗尽和渲染减速——即"资源耗尽攻击"。
- 核心矛盾：生长机制无法区分"正常的高频细节"和"攻击注入的高频扰动"。
- 本文要解决什么？ 如何抵御利用 3DGS 生长机制的资源耗尽攻击？
- 切入角度：攻击的本质是注入异常高频分量——用频谱分析可以检测和过滤。
- 核心idea一句话：3D 频域剪枝异常 splat + 2D 角度熔正则化保护渲染质量。
方法详解¶
关键设计¶
- 3D 频率过滤器：将 Gaussian 协方差与高频响应通过傅里叶分析关联，剪枝高频贡献异常强的 splat
- 2D 频谱正则化：惩罚各向异性角度能量分布，但通过熔损失保留自然的各向同性高频内容
- 联合防御：3D 处理 Gaussian 过度生长，2D 处理渲染伪影
实验关键数据¶
| 指标 | 改善 | 说明 |
|---|---|---|
| Gaussian 数量抑制 | 5.92× | 抑制攻击造成的过度膨胀 |
| 峰值内存减少 | 3.66× | |
| 渲染速度提升 | 4.34× | |
| 干净图像渲染质量 | 保持 | 不攻击时不影响质量 |
关键发现¶
- 3D 和 2D 联合防御缺一不可——3D 处理过度生长，2D 处理渲染伪影
- 频谱分析能有效区分攻击扰动和自然高频细节
亮点与洞察¶
- 频谱视角解决 3DGS 安全问题：将 Gaussian 协方差与频率响应建立解析联系，提供了可解释的防御机制
- 攻击新角度：资源耗尽攻击不影响视觉质量但耗尽计算资源——对部署场景的威胁很大
局限性 / 可改进方向¶
- 频率阈值和角度分桶需要谨慎调整
- 防御针对特定攻击，对干净输入的影响不确定
相关工作与启发¶
- 首个 3DGS 资源耗尽攻击的防御方法
评分¶
- 新颖性: ⭐⭐⭐⭐ 频谱防御角度新颖
- 实验充分度: ⭐⭐⭐⭐ 多维度评估充分
- 写作质量: ⭐⭐⭐⭐ 理论分析清晰
- 价值: ⭐⭐⭐⭐ 对 3DGS 安全部署有重要意义