DPCache: 去噪即路径规划——免训练扩散模型加速¶
会议: CVPR 2026
arXiv: 2602.22654
代码: GitHub
领域: 扩散模型 / 模型加速
关键词: 扩散加速, 缓存, 路径规划, 免训练, 推理优化
一句话总结¶
将扩散采样加速形式化为全局路径规划问题，通过Path-Aware Cost Tensor量化路径依赖的跳步误差，用动态规划选出最优关键时间步序列，在FLUX上实现4.87×加速且ImageReward反超全步基线。
背景与动机¶
扩散模型在图像/视频生成上效果卓越，但多步迭代采样的计算开销是落地部署的主要障碍。缓存方法是一类有吸引力的免训练加速策略——在某些时间步复用之前计算的特征而非重新计算。但现有缓存方法使用固定或局部自适应的缓存调度策略，没有考虑去噪轨迹的全局结构，容易导致误差累积和视觉伪影。
核心问题¶
缓存加速的核心决策是：在哪些时间步做完整计算（关键步），哪些步复用缓存？现有方法要么用固定间隔（每隔N步缓存一次），要么用局部指标（相邻步特征变化小则缓存），但都忽视了一个关键事实：跳步的误差不仅取决于当前步本身，还取决于之前的关键步是哪一步——也就是误差具有"路径依赖性"。用局部贪心策略做全局优化，难免陷入次优。
方法详解¶
整体框架¶
DPCache将采样过程视为一个从起点（纯噪声）到终点（干净图像）的路径，需要选择一组关键节点（完整计算的时间步），使得"跳过中间步+缓存预测"带来的总误差最小化。
关键设计¶
1. Path-Aware Cost Tensor（路径感知代价张量） - 在小型校准集上预计算一个代价张量 \(C(i, j)\)：表示"如果上一个关键步是\(i\)，跳到关键步\(j\)时中间步用缓存预测"所产生的误差 - 关键洞察：同一个跳步间隔，从不同的关键步出发，误差可能差数倍——这就是"路径依赖性" - 代价张量一次计算，适用于所有推理
2. 动态规划选择最优关键步序列 - 给定总计算预算（目标关键步数量），在代价张量上用DP求解最小化总路径代价的关键步序列 - 时间复杂度 \(O(T^2 \cdot K)\)（\(T\)为总步数，\(K\)为关键步数），可忽略不计 - 与贪心/固定间隔相比，DP保证全局最优
3. 缓存推理 - 在选定的关键时间步执行完整模型计算 - 中间时间步用缓存特征高效预测输出 - 实现原理简单，对任何扩散模型架构透明
损失函数/训练策略¶
完全免训练。代价张量的构建只需在小校准集（几十张图）上跑一次完整采样流程并记录各步特征。
实验关键数据¶
| 模型 | 方法 | 加速比 | ImageReward变化 |
|---|---|---|---|
| FLUX | DPCache | 4.87× | +0.031（优于所有加速方法） |
| FLUX | DPCache | 3.54× | +0.028（反超全步基线） |
| DiT | DPCache | 显著加速 | 最小质量损失 |
| HunyuanVideo | DPCache | 显著加速 | 优于现有方法 |
消融实验要点¶
- 路径依赖建模是性能提升的主要来源：固定间隔策略在同等加速比下质量明显更差
- 校准集大小对代价张量的影响：几十张即可收敛，不需要大规模校准
- DP vs 贪心选择：DP在高加速比下优势更大（贪心的次优累积更严重）
亮点 / 我学到了什么¶
- "路径规划"视角将缓存调度从启发式提升到了最优化框架，非常优雅
- 3.54×加速时ImageReward反超全步基线！——说明并非所有去噪步都是有益的，有些步甚至是有害的
- 代价张量的路径依赖特性是一个被之前方法忽视的重要事实
- 免训练 + 模型无关 = 极高的实用价值
局限性 / 可改进方向¶
- 代价张量的计算依赖校准集，不同提示词/风格是否需要不同的最优路径？
- 目前只考虑了"跳步+缓存"的加速策略，能否结合步数蒸馏进一步提升？
- 视频生成模型的时间步依赖可能更复杂，需要扩展代价张量的维度
- 能否在线自适应调整路径而非依赖预计算的固定路径？
与相关工作的对比¶
- vs DeepCache/FORA等固定缓存策略：全局最优 vs 局部启发式，高加速比下优势明显
- vs 步数蒸馏（Progressive Distillation）：免训练 vs 需要蒸馏训练，可以互补
- vs 一致性模型（Consistency Models）：DPCache保留多步采样框架，更灵活
与我的研究方向的关联¶
- "路径规划选关键步"的思路可迁移到token压缩：哪些层/步骤是关键的？
- 自适应 > 固定规则的结论与视觉token压缩中的自适应策略一脉相承
- 代价张量的预计算方式可借鉴：用小校准集预估各类压缩策略的质量影响
评分¶
- 新颖性: ⭐⭐⭐⭐ — 路径规划视角新颖，但缓存加速本身不是新方向
- 实验充分度: ⭐⭐⭐⭐ — DiT/FLUX/HunyuanVideo三模型验证，消融充分
- 写作质量: ⭐⭐⭐⭐ — 路径规划类比直觉清晰
- 对我的价值: ⭐⭐⭐⭐ — 全局优化策略的方法论可迁移