LiDARCrafter: Dynamic 4D World Modeling from LiDAR Sequences¶

会议: AAAI 2026
arXiv: 2508.03692
代码: https://github.com/worldbench/lidarcrafter
领域: 自动驾驶
关键词: LiDAR生成, 4D世界模型, 场景图, 自回归生成, 扩散模型

一句话总结¶

提出LiDARCrafter，首个专用于LiDAR的4D生成世界模型，通过Text2Layout（LLM解析文本→场景图→三分支扩散生成4D布局）→Layout2Scene（Range-image扩散生成高保真单帧）→Scene2Seq（自回归warp+扩散生成时序一致的序列）三阶段流程，在nuScenes上取得SOTA。

研究背景与动机¶

领域现状：自动驾驶的生成世界模型主要基于视频或占据网格，LiDAR数据的生成很少被研究。现有LiDAR生成主要做单帧，缺乏4D（空间+时间）序列生成。
现有痛点：(1) 用户可控性差：文本描述缺乏空间精度，而3D box/HD map标注成本高；(2) 时序一致性：单帧方法无法生成连贯序列；(3) 评估标准化：LiDAR缺乏类似视频benchmark的综合评估体系。
切入角度：用显式object-centric 4D layout作为中间表示，桥接语言描述和LiDAR几何精度。
核心idea一句话：LLM解析文本→4D场景图→三分支扩散解码布局→Range-image扩散生成单帧→自回归warp生成序列

方法详解¶

整体框架¶

三阶段pipeline： 1. Text2Layout：LLM将文本→ego-centric场景图 \(\mathcal{G}=(\mathcal{V},\mathcal{E})\)，三分支扩散网络生成object boxes + trajectories + shape priors 2. Layout2Scene：Range-image扩散模型将layout条件化生成高保真单帧LiDAR 3. Scene2Seq：自回归生成——背景warp（ego pose）+ 前景warp（物体轨迹）提供几何先验，扩散模型生成每帧

关键设计¶

三分支扩散布局解码器：分别生成3D box、未来轨迹、物体形状点云，共享噪声调度
Sparse Object Conditioning：将布局编码为稀疏条件信号（位置嵌入+类别嵌入+box嵌入+自注意力）
自回归生成：背景warp用ego pose，前景warp用物体轨迹，拼接后作为扩散conditioning输入
EvalSuite：场景级+物体级+序列级综合评估体系

损失函数 / 训练策略¶

三分支布局扩散：每支独立的去噪损失 \(\mathcal{L}^o = E\|\epsilon - \epsilon_\theta^o(d_\tau^o, \tau, c^o)\|_2^2\)
Range-image扩散：标准DDPM损失
6×A40 GPU，布局扩散 1M steps，range-image 500K steps

实验关键数据¶

主实验¶

nuScenes上场景级保真度（FRD/FPD/JSD等）：LiDARCrafter在所有range-based方法中最优，前景质量显著优于现有方法。

消融实验¶

配置	效果	说明
w/o tri-branch	布局质量下降	缺乏结构化条件
w/o autoregressive warp	时序不一致	缺乏运动先验
Full LiDARCrafter	最优	三阶段协同

关键发现¶

显式4D layout是实现可控生成、场景编辑和时序一致性的关键
LiDAR点云的“播主视角”特性使得背景warp非常有效（静态场景大部分不变）

亮点与洞察¶

场景图作为中间表示很巧妙：桥接了语言的自由度和LiDAR的几何精度
自回归warp利用了LiDAR数据的独特性：与视频不同，LiDAR场景主要是静态的，ego+object warp就能提供很强的先验
EvalSuite填补了LiDAR生成评估的空白

局限性 / 可改进方向¶

仅在nuScenes（32线）上验证，更密集的LiDAR（64/128线）的可扩展性未知
三阶段pipeline可能累积误差（布局错误会传递到后续阶段）
自回归生成可能在长序列上出现漂移

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首个4D LiDAR生成世界模型，填补重要空白
实验充分度: ⭐⭐⭐⭐ nuScenes全面评估+EvalSuite+场景编辑展示
写作质量: ⭐⭐⭐⭐ 框架图清晰，三阶段逻辑流畅
价值: ⭐⭐⭐⭐⭐ 为自动驾驶数据增强和仿真提供新工具