Towards Lossless Implicit Neural Representation via Bit Plane Decomposition¶

会议: CVPR 2025
arXiv: 2502.21001
代码: https://github.com/WooKyoungHan/LosslessINR (有)
领域: 音频语音 / 神经表示
关键词: 隐式神经表示, 无损表示, 比特平面分解, 比特偏置, 高精度信号

一句话总结¶

发现隐式神经表示（INR）的模型容量上界随比特精度指数增长（\(\mathcal{P}(f_\theta) \propto 2^n\)），提出比特平面分解——将 n-bit 信号分解为 n 个独立的 1-bit 平面分别训练 INR，首次实现 16-bit 图像的无损（BER=0）隐式神经表示。

领域现状：INR（如 SIREN、FINER）用神经网络将坐标映射到信号值（图像像素/音频振幅），实现连续的信号表示。但现有方法在 8-bit 精度上就已经有明显的位错误率（BER），16-bit 高精度信号更是无法无损表示。

现有痛点：INR 存在"比特偏置"现象——高位比特（MSB）学习快而准确，低位比特（LSB）学习慢且不精确。这类似于频谱偏置（低频先学、高频难学），但发生在比特维度。结果是模型的 BER 随精度指数增加。

核心矛盾：一个网络同时建模 16 个比特平面的信息——高位的 1 等于低位的 \(2^{15}\)，信息尺度差异巨大，网络容量被高位"霸占"。

切入角度：将 n-bit 信号分解为 n 个独立的 1-bit 平面，每个平面训练一个独立的 INR。1-bit → BER 的理论上界只有 2^1 而非 2^n。

核心 idea：信号→比特平面分解→每平面独立INR = 突破精度瓶颈实现无损表示。

本文目标：### 关键设计

比特平面分解:
- 功能：将高精度信号分解为多个低精度子信号
- 核心思路：n-bit 整数值可以分解为 n 个二进制平面 \(\{b_0, b_1, ..., b_{n-1}\}\)，每个平面是 0/1 值的空间函数。

比特平面分解:
- 功能：将高精度信号分解为多个低精度子信号
- 核心思路：n-bit 整数值可以分解为 n 个二进制平面 \(\{b_0, b_1, ..., b_{n-1}\}\)，每个平面是 0/1 值的空间函数。为每个平面训练独立的小型 INR
- 设计动机：Theorem 1 证明模型容量上界 \(\mathcal{P} \propto 2^n\)，分解后每个子问题复杂度仅为 \(2^1\)
比特偏置现象的发现:
- 功能：揭示 INR 学习中被忽视的偏置来源
- 核心思路：类比频谱偏置（低频先学）——MSB 先学、LSB 后学。这是因为 MSB 的误差在损失函数中贡献 \(2^{2(n-1)}\) 倍于 LSB 的误差，梯度自然偏向 MSB
- 设计动机：理解了偏置原因才能设计正确的解法——分解而非"加大模型"

MSE 损失。每个比特平面用目标错误界 \(\epsilon(n) = \frac{1}{2(2^n-1)}\) 作为精度参考。可用 SIREN/FINER/Gaussian 等任意激活函数。