OmniAudio: Generating Spatial Audio from 360-Degree Video¶

会议: ICML 2025
arXiv: 2504.14906
代码: github.com/liuhuadai/OmniAudio
领域: 音频语音
关键词: 空间音频生成, 360度视频, First-order Ambisonics, Flow Matching, 自监督预训练

一句话总结¶

提出 OmniAudio 框架，首次实现从 360 度全景视频生成 First-order Ambisonics (FOA) 空间音频，通过 coarse-to-fine 自监督预训练和双分支视频编码架构，在自建的 Sphere360 数据集上取得 SOTA 性能。

研究背景与动机¶

传统视频转音频方法面临两个关键限制：(1) 仅生成单声道/立体声等非空间音频，缺乏 3D 方向性信息；(2) 仅处理有限视场角（FoV）的透视视频，遗漏了视野外的声源信息。例如一列火车从全景视频中经过但不在正面视角中可见时，传统方法无法捕获该声源。

空间音频（尤其是 FOA 格式）可以保留 3D 声音定位信息，但现有方法（ViSAGe、Diff-SAGe 等）仍依赖固定视角输入。360 度全景视频天然提供完整的球面视觉覆盖，能同时观察所有发声物体及其空间关系。

本文定义了 360V2SA 新任务（360度视频→空间音频），面临三大挑战：(1) 配对数据稀缺；(2) 球面上精确的视听同步；(3) 高保真空间音频生成的复杂性。

方法详解¶

整体框架¶

OmniAudio 包含两个核心阶段：

Coarse-to-Fine 自监督预训练：利用大规模非空间音频和 FOA 空间音频进行两阶段预训练，学习通用音频模式
空间感知有监督微调：以双分支视频表征为条件，微调 Diffusion Transformer (DiT) 生成 FOA 音频

生成骨干采用 Conditional Flow Matching，通过学习从噪声到数据的速度向量场进行生成，相比 DDPM 训练更稳定。

关键设计¶

1. Spatial Audio VAE（空间音频变分自编码器）¶

FOA 音频包含四个通道（W/X/Y/Z），分别编码全方向声压、前后、左右和上下声音。传统 VAE 仅支持立体声，本文提出以下改进：

使用预训练立体声 VAE 权重初始化四通道 FOA VAE
去除针对立体声的 Mid-Side STFT 损失，改为对 W/X/Y/Z 四通道分别施加等权（1/4）重建损失
基于 Stable Audio 框架，采用 Snake 激活函数和 Descript Audio Codec 架构，实现高压缩比下的高质量重建

2. 双分支视频表征（Dual-Branch Video Representation）¶

为同时建模全局场景上下文和局部细节：

全局分支：将 360 度等距投影视频填充为 1:1 正方形后输入冻结的 MetaCLIP-Huge 图像编码器，提取全局全景特征
局部分支：从 360 度视频中提取正面 120° 透视视频，经线性投影后输入同一 MetaCLIP 编码器，捕获局部细节特征

融合方式：局部 FoV 特征上采样至音频潜表征序列长度后逐元素相加；全局 360 特征经最大池化后作为 DiT 的全局条件。

3. Coarse-to-Fine 自监督预训练¶

粗粒度阶段：在 ~2M 非空间音频样本（FreeSound + AudioSet + VGGSound）上训练。先将非空间音频转为 FOA 格式（Y/Z 置零，W=左+右，X=左-右），通过 Spatial VAE 压缩为潜表征，施加 token 掩码后训练 Flow Matching 模型重建被掩码部分
细粒度阶段：仅使用 FOA 空间音频进行预训练，让模型学习 FOA 特有的空间动态特征

掩码策略：以概率 \(p_{cond}=0.1\) 对音频潜表征施加条件掩码，随机选择帧进行掩码，设定最小掩码跨度。

损失函数 / 训练策略¶

预训练损失：标准 Conditional Flow Matching 目标（仅对掩码部分计算）。

微调损失：加入双分支视频条件的 Flow Matching 目标，时间步从 logit-normal 分布采样。推理时使用 CFG-Scale = 5。

VAE 损失：加权四通道多分辨率 STFT 损失 + KL 散度损失 + 判别器损失。

训练细节：

VAE：24× A800 GPU，batch size 144，500K 步 + 冻结编码器再训 300K 步
预训练：8× A100 GPU，batch size 256，100K 步
微调：8× A100 GPU，batch size 256，50K 步，学习率 5e-5 (AdamW)
DiT 架构（Large）：1536 嵌入维度，24 层，24 注意力头，共 1.2B 参数

Sphere360 数据集¶

自建首个大规模 360V2SA 数据集：103K 视频片段（每段 10 秒），288 小时，覆盖 288 种音频事件。

数据收集流水线：YouTube 关键词搜索 → 360°/FOA 技术过滤 → 频道级+视频级两阶段爬取 → 半自动清洗（静止视频去除、静音检测、语音过滤、ImageBind 视听对齐检查）。

实验关键数据¶

主实验¶

模型	参数量	FD ↓	KL ↓	ΔAngular ↓	MOS-SQ ↑	MOS-AF ↑	推理时间
Sphere360-Bench (In-distribution)
GT	-	-	-	-	88.41	90.12	-
Diff-Foley + AS	0.94B	331.05	3.56	-	69.87	71.12	2.40s
MMAudio + AS	1.03B	271.15	2.39	-	75.34	77.56	3.01s
ViSAGe (FoV)	0.36B	210.87	2.90	1.49	73.45	74.89	22.37s
ViSAGe (360)	0.36B	219.66	2.96	1.51	74.12	75.34	22.37s
OmniAudio	1.22B	88.30	1.58	1.28	84.67	87.23	0.92s
YT360-Test (Out-of-distribution)
Diff-Foley + AS	0.94B	361.65	2.22	-	67.21	70.34	2.40s
MMAudio + AS	1.03B	190.40	1.71	-	73.25	76.77	3.01s
ViSAGe (FoV)	0.36B	199.09	1.86	1.99	71.82	72.17	22.37s
ViSAGe (360)	0.36B	225.52	1.95	1.98	72.45	72.96	22.37s
OmniAudio	1.22B	92.57	1.64	1.27	80.37	83.49	0.92s

消融实验¶

自监督预训练策略消融：

配置	FD ↓	KL ↓	ΔAngular ↓	说明
Coarse-to-Fine	88.30	1.58	1.28	完整两阶段预训练
w/ fine only	97.57	1.82	1.28	仅用 FOA 预训练
w/ coarse only	97.26	1.78	1.30	仅用非空间音频预训练
w/o PT	104.57	1.83	1.32	无预训练

双分支设计消融：

配置	FD ↓	KL ↓	ΔAngular ↓	说明
ERP + Per（双分支）	88.30	1.58	1.28	全景 + 透视双分支
w/ Per only	88.80	1.87	1.33	仅透视视频
w/ EAC only	93.37	1.84	1.30	仅立方体映射
w/ ERP only	97.83	1.87	1.28	仅等距投影

模型规模消融：

规模	参数量	FD ↓	KL ↓	ΔAngular ↓
Large	1.2B	88.30	1.58	1.26
Medium	472M	104.19	1.82	1.28
Small	291M	108.50	1.91	1.29

关键发现¶

OmniAudio 大幅超越所有基线：FD 从最佳基线的 210.87 降至 88.30（Sphere360），推理速度 0.92s 远快于 ViSAGe 的 22.37s（快 24 倍）
360 度视频比透视视频关键：全景输入在非空间和空间指标上均显著优于仅透视输入
Coarse-to-fine 预训练不可或缺：去掉任一阶段都会导致 FD 上升 9-16 分
OOD 泛化性强：在 YT360 测试集（分布外）上仍保持显著优势
级联方案（V2A + 空间化）效果差：直接端到端生成 FOA 优于级联方式

亮点与洞察¶

任务定义的前瞻性：360V2SA 是一个被忽视但重要的任务，VR/AR 场景天然需要全景视频配合空间音频
巧妙的领域迁移策略：通过 Spatial VAE 将非空间音频转为 FOA 格式参与预训练，有效弥补空间音频数据不足
双分支设计的互补性：全局分支提供场景上下文（"哪些声源存在"），局部分支提供精细细节（"声音具体来自何处"），融合方式简洁高效
数据集工程价值：Sphere360 的半自动采集清洗流水线具有良好的可复用性，包含静止检测、静音检测、语音过滤和视听对齐检查等完整环节
推理效率优势：flow matching + DiT 的方案推理仅需 0.92s，远快于自回归方法

局限与展望¶

多声源场景困难：当场景中存在大量发声物体时，模型容易混淆事件类型（如将乐器声误判为掌声）
数据规模仍然有限：103K 样本对真实世界 360V2SA 仍不够充分
FOA 仅为一阶 Ambisonics：空间分辨率有限，更高阶 Ambisonics 可进一步提升空间精度
FoV 提取策略固定：仅使用正面 120° 视角作为局部分支，可考虑自适应选择包含主要声源的视角
缺乏时间动态建模：当前逐帧提取视觉特征，未显式建模声源的移动轨迹

评分¶

维度	分数 (1-5)	说明
创新性	⭐⭐⭐⭐⭐	首次定义 360V2SA 任务，端到端框架设计完整
技术深度	⭐⭐⭐⭐	Spatial VAE + 双分支 + coarse-to-fine 预训练环环相扣
实验充分度	⭐⭐⭐⭐⭐	主实验 + 3 组消融 + 主观评测，覆盖全面
数据集贡献	⭐⭐⭐⭐⭐	103K 样本的 Sphere360 + 标准化基准，社区价值高
写作质量	⭐⭐⭐⭐	结构清晰，图表丰富，动机阐述到位
综合评分	⭐⭐⭐⭐⭐	任务新颖 + 方法完整 + 数据集贡献 = 高影响力工作