EMGauss: Continuous Slice-to-3D Reconstruction via Dynamic Gaussian Modeling in Volume Electron Microscopy¶
会议: CVPR 2026
arXiv: 2512.06684
代码: 无
领域: 3D视觉
关键词: 3D高斯溅射, 体电子显微镜, 各向异性重建, 动态场景建模, 自监督学习
一句话总结¶
将体电子显微镜(vEM)的各向异性切片重建问题重新建模为基于可变形2D高斯溅射的动态3D场景渲染任务，通过Teacher-Student伪标签机制在数据稀疏条件下实现高保真连续切片合成。
研究背景与动机¶
体电子显微镜(vEM)能够实现生物结构的纳米级3D成像，但由于分辨率、视场和采集时间之间的"不可能三角"权衡，直接获取各向同性数据代价高昂。实际采集的数据通常呈现各向异性特征——轴向(z)分辨率远低于面内(xy)分辨率。
现有深度学习方法试图通过以下两种范式恢复各向同性： 1. 视频帧插值：沿z轴对xy切片进行帧插值 2. 图像超分辨率：对xz/yz正交视图进行超分辨率增强
这两种方法都隐含地假设组织结构在x/y/z三个维度上近似各向同性，但实际生物样本中形态学各向异性普遍存在（如神经纤维、树突棘等），导致这些方法在处理方向性强的结构时产生误差。
核心动机：需要一种不依赖各向同性假设、直接在连续3D空间中进行推理的重建框架。
方法详解¶
整体框架¶
EMGauss将各向异性体重建问题重构为动态3D场景渲染问题： - 将轴向切片序列视为2D高斯点云的时间演化过程 - 切片索引 \(t \in [0,1]\) 作为沿z轴的归一化空间坐标 - 通过变形MLP学习相邻切片之间的局部几何变化
基础构件源自Deformable 3D Gaussians，每个高斯基元参数化为：不透明度 \(o\)、中心 \(\mu\)、协方差矩阵 \(\Sigma\)（分解为缩放 \(S\) 和旋转 \(R\)）。
关键设计¶
1. Slice-to-3D动态高斯建模¶
从观测的各向异性帧初始化的典范高斯集 \(\mathcal{G}_c\) 出发，变形网络 \(\Phi_\theta\) 预测每个高斯的局部偏移：
关键约束设计： - 位置偏移：仅允许面内位移 \(\Delta\mu_i = (\Delta x_i, \Delta y_i, 0)\) - 缩放偏移：仅允许面内缩放 \(\Delta S_i = (\Delta s_x, \Delta s_y, 0)\) - 不透明度：允许沿z轴的动态变化 \(\Delta o_i\) - z坐标和z缩放：固定为全局常数 \(z_0, s_{z,0}\) - 旋转：可学习但不随时间变化，即 \(\Delta R_i = 0\)
这些约束确保了轴向对齐的一致性，同时允许面内变形和逐切片外观变化。推理时通过查询中间 \(t\) 值生成变形后的高斯集并渲染。
2. Teacher-Student伪标签自举机制¶
针对仅有少量轴向切片(10%-20%)的数据稀疏情况：
| 组件 | 设计 | 作用 |
|---|---|---|
| Teacher模型 | Student的EMA版本，衰减率 \(\alpha=0.995\) | 在未见切片上生成稳定伪目标 |
| Student模型 | 主动训练的模型 | 学习匹配Teacher的伪标签 |
| 激活策略 | 训练迭代超过阈值后启动 | 确保初始收敛后再引入伪监督 |
| 扩展策略 | 从中间切片逐步扩展到更多位置 | 渐进式覆盖未观测区域 |
伪监督迭代与真实数据监督迭代交替进行，确保平衡学习和稳定收敛。
损失函数 / 训练策略¶
三阶段训练流水线：
| 阶段 | 迭代数 | 操作 | 目的 |
|---|---|---|---|
| 预热阶段 | 2k | 优化典范高斯集 \(\mathcal{G}_c\)，冻结变形MLP | 建立稳定辐射基线 |
| 联合训练 | 1k | 同时训练 \(\mathcal{G}_c\) 和变形MLP | 捕获轴向转换（过长易过拟合） |
| Teacher-Student | 15k | 激活EMA Teacher提供伪监督 | 增强未见切片的重建质量 |
损失函数： - 基于RGB光度监督：\(\ell_1\) 损失 + D-SSIM正则化 - 伪监督损失权重线性增加：从0.1逐步提升到1.0（3k-10k迭代之间）
实验关键数据¶
主实验¶
数据集：EPFL（小鼠脑，5nm各向同性）、FIB-25（果蝇脑，8nm各向同性）、FANC（果蝇神经索，真实各向异性×10）
Table 2: 合成各向异性数据集上的xy切片重建结果
| 方法 | EPFL PSNR | EPFL SSIM | EPFL FSIM | FIB-25 PSNR | FIB-25 SSIM | FIB-25 FSIM |
|---|---|---|---|---|---|---|
| CycleGAN-IR | 22.05 | 0.491 | 0.856 | 22.39 | 0.554 | 0.856 |
| EMDiffuse† | 23.34 | 0.519 | 0.899 | 24.10 | 0.514 | 0.878 |
| IsoVEM | 23.91 | 0.597 | 0.856 | 21.51 | 0.546 | 0.846 |
| EMGauss | 26.59 | 0.698 | 0.943 | 27.37 | 0.728 | 0.920 |
†EMDiffuse需要额外数据训练
Table 3: EPFL数据集上的下游分割结果（SAM2, IoU）
| 方法 | CycleGAN-IR | EMDiffuse | EMGauss |
|---|---|---|---|
| IoU | 0.9099 | 0.9555 | 0.9687 |
消融实验¶
Table 4: 关键组件消融（两个各向同性数据集平均）
| 配置 | PSNR | SSIM | FSIM |
|---|---|---|---|
| 去除Teacher-Student | 25.19 | 0.627 | 0.904 |
| 去除预热阶段 | 25.76 | 0.653 | 0.908 |
| 去除联合训练 | 24.35 | 0.577 | 0.851 |
| 去除动态不透明度 \(\Delta o\) | 25.44 | 0.630 | 0.894 |
| 添加动态旋转 \(\Delta R\) | 25.07 | 0.640 | 0.906 |
| 完整模型 | 26.98 | 0.713 | 0.932 |
关键发现¶
- EMGauss在PSNR上比最佳baseline高出 ~3dB（EPFL和FIB-25）
- 在xz/yz切片重建中，即使EMGauss仅用xy训练，效果仍优于用xz/yz训练的baseline
- 在真实各向异性FANC数据集（×10各向异性）上，EMGauss是唯一支持任意时间步连续生成的方法
- 三阶段训练中，联合训练阶段的去除影响最大（PSNR下降2.6）
- 动态不透明度比动态旋转更重要——静态不透明度无法建模结构的出现/消失，而动态旋转会引起时间抖动
亮点与洞察¶
- 问题转化的巧妙性：将切片重建转化为动态场景渲染，从根本上避免了各向同性假设
- 完全自包含：仅使用目标体积的各向异性切片进行优化，无需外部数据集或大规模预训练
- 连续生成能力：可在任意深度合成插值切片，这是基于离散帧插值方法无法实现的
- 高斯属性的精细控制：对哪些属性随时间变化、哪些固定做了仔细设计，体现了对问题本质的深入理解
局限性 / 可改进方向¶
- 在噪声较大的输入切片中，高斯基元数量可能显著增长，导致内存消耗过大
- 可以在重建流水线前加入轻量去噪模块来稳定优化
- 未来可探索自适应高斯剪枝或与图像空间正则化器的联合学习
- 当前实验仅在电子显微镜领域验证，跨模态泛化能力有待证明
相关工作与启发¶
- 与3DGS的关系：巧妙地将3DGS从多视图3D重建迁移到切片-体重建，将z轴重新解释为时间维度
- 与Deformable 3DGS的区别：原始方法用于动态3D场景的多视图重建，本文用于从2D切片进行3D连续重建
- 与扩散/GAN方法的本质区别：不依赖跨域映射（xy→xz/yz），直接建模连续3D几何
- 启发：该范式可推广到其他平面扫描成像领域（如CT、MRI等）
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ — 问题转化思路独到，3DGS在医学成像中的创新应用
- 实验充分度: ⭐⭐⭐⭐ — 多数据集多指标验证，含下游任务和消融，但跨模态实验缺乏
- 写作质量: ⭐⭐⭐⭐ — 结构清晰，动机阐述充分
- 价值: ⭐⭐⭐⭐ — 提供了通用的slice-to-3D重建框架，超越vEM领域