Speculative Verification: Exploiting Information Gain to Refine Speculative Decoding¶

会议: ACL 2026
arXiv: 2509.24328
代码: 无
领域: LLM推理效率
关键词: 推测解码, 信息增益, 推理加速, 伴随模型, 动态验证

一句话总结¶

提出推测验证（Speculative Verification, SV），通过引入与草稿模型同等规模的伴随模型（companion model），利用草稿-伴随分布的相似性预测推测准确率，动态调整验证长度以最大化有效吞吐量，在大批量推理中实现相对标准推测解码平均1.4×、最高1.9×的加速。

研究背景与动机¶

领域现状：推测解码（Speculative Decoding, SD）是加速LLM推理的主流方法，通过小型草稿模型推测生成多个token，再由大型目标模型并行验证。其效果取决于推测准确率（即草稿token被目标模型接受的比例）。

现有痛点：推测准确率在解码步骤间剧烈波动且不可预测。当准确率低时，被拒绝token的验证开销会抵消加速收益；在大批量场景下，SD的收益本就减小，额外的验证开销甚至导致性能劣于直接目标模型解码。实验发现超过40%的验证计算浪费在被拒绝的token上，48%的SD步骤比直接解码更慢。

核心矛盾：准确预测推测准确率是优化验证长度的前提，但仅凭草稿模型的信息（token概率、熵、注意力模式、历史接受率）均无法可靠预测。先前方法（SVIP、SmartSpec等）在大批量下效果急剧退化。

本文目标：引入额外的信息源来可靠预测推测准确率，实现动态自适应的验证长度优化。

切入角度：信息论框架——通过观测伴随模型的分布获得关于目标模型接受概率的正信息增益。

核心idea：引入一个与草稿模型同等规模的伴随模型，通过比较草稿与伴随的token分布相似度 \(S\) 和伴随模型下的接受概率 \(A\)，预测目标模型的接受概率，据此动态选择最优验证长度以最大化 goodput。

方法详解¶

整体框架¶

SV 在标准 SD 流程上增加一个轻量伴随模型。草稿模型生成投机token后，伴随模型对同一位置计算分布，提取两个指标 \(S\)（分布相似度）和 \(A\)（伴随接受概率）。基于这两个指标预测每个草稿token被目标模型接受的概率，然后通过贪心算法选择最优验证长度（子集），使估计的 goodput（接受token/秒）最大化。验证仍由目标模型按标准SD采样规则执行，保证输出分布不变。

关键设计¶

伴随模型的信息增益框架：
- 功能：可靠预测草稿token被目标模型接受的概率
- 核心思路：定义 \(S = \sum_{i \in \text{vocab}} \min(P_d(t_i), P_c(t_i))\) 衡量草稿-伴随分布相似度，\(A = \min(1, P_c(t_d)/P_d(t_d))\) 衡量草稿token在伴随模型下的接受概率。观测 \(S\) 和 \(A\) 后对接受概率 \(X\) 的不确定性降低34%，接受率提高20%
- 设计动机：仅需要草稿-伴随分布提供正信息增益（弱于要求高相关性），而现代LLM通常共享部分训练数据（如Wikipedia/C4），统计独立几乎不可能，因此该假设广泛成立
基于Goodput的动态验证长度调度：
- 功能：选择最优的验证token子集以最大化有效吞吐量
- 核心思路：对每个可能的验证长度 \(\gamma\)，基于预测的条件接受概率计算期望接受token数 \(E(N|\gamma)\)，除以该长度对应的验证延迟得到 goodput，选择 goodput 最大的 \(\gamma\)。Goodput 关于验证长度是凹函数，可通过增量搜索高效求解
- 设计动机：平衡两个因素——过短验证浪费GPU资源（未充分利用），过长验证浪费计算在被拒绝token上
执行优化（Overlap + Data-Parallel）：
- 功能：最小化伴随模型的额外开销
- 核心思路：利用NVIDIA MPS将目标模型验证与下一轮的草稿/伴随模型执行重叠执行；在多GPU张量并行验证配置中，复用GPU资源进行数据并行草稿生成。伴随模型仅增加1.3-5.3%计算开销和2.8-8.1%内存开销
- 设计动机：确保伴随模型的引入不会成为系统瓶颈

损失函数 / 训练策略¶

SV 是推理时方法，无需额外训练。伴随模型可通过以下方式获取：微调草稿模型、量化草稿模型、或直接选择公开的同规模模型。实验表明三种方式均能提供正信息增益。

实验关键数据¶

主实验¶

配置	批量大小	SD吞吐	SV吞吐	加速比
Qwen2.5 32B	32	基线	—	最高1.61×
Llama 70B	64	基线	—	最高1.37×
大批量平均	32-64	基线	—	平均1.4×
最佳情况	—	基线	—	最高1.9×

消融实验¶

配置	关键指标	说明
验证成本降低	18-45% TFLOPs减少	伴随模型仅增加1.3-5.3%计算
信息增益 (S,A)	30-40% 熵减少	90组D-C-T模型均为正增益
Token接受率	最高提升4.5×	大批量下尤其显著
Prefill开销	~10%低于SD	伴随模型的额外成本

关键发现¶

SV 在所有实验配置中均优于SD和目标解码，对困难任务（GSM8K、ChatGPT）效果尤其突出
90组公开模型的草稿-伴随-目标组合均观测到正信息增益，验证了方法的普适性
SV也可应用于自推测模型（LayerSkip提升30%、Eagle-3提升适中）
公平性分析表明批量内各查询的验证分配合理，不存在饥饿问题

亮点与洞察¶

信息论视角优雅：将推测准确率预测形式化为信息增益最大化问题，理论基础扎实
假设条件极弱：仅需草稿-伴随分布提供正信息增益（非高相关性），使方法广泛适用
实用性极强：无需额外训练，伴随模型可直接从公开模型选取，开销极低
大批量场景价值突出：恰好解决了SD在实际部署中最痛的大批量性能退化问题

局限与展望¶

仅评估公开模型：可能存在模型特异性偏差
未报告方差/置信区间：虽每次评估覆盖约10000解码步骤，但缺乏重复实验统计
Prefill阶段有额外开销：约10%低于SD的prefill吞吐
未来可探索：伴随模型的最优选择策略、与更多推理框架（如TensorRT-LLM）集成

评分¶

新颖性: ⭐⭐⭐⭐⭐ 引入伴随模型+信息增益预测推测准确率的思路极具创新性，理论优雅
实验充分度: ⭐⭐⭐⭐⭐ 104种模型组合、7个任务、多种批量大小，覆盖SOTA对比和多维消融
写作质量: ⭐⭐⭐⭐ 结构清晰，但技术密度高，部分推导需要仔细阅读
价值: ⭐⭐⭐⭐⭐ 解决SD在实际部署中的核心瓶颈，实用性极强