On the Entropy Calibration of Language Models¶

会议: NeurIPS 2025 arXiv: 2511.11966 代码: GitHub 领域: LLM理论 / 生成质量 关键词: entropy calibration, error accumulation, scaling laws, distribution truncation, diversity-quality tradeoff

一句话总结¶

系统研究语言模型的熵校准问题（生成文本的熵是否匹配在人类文本上的 log loss），发现由于数据分布的幂律特性（\(\alpha \approx 1\)），误差积累随模型规模的改善极为缓慢（scaling exponent \(\approx -0.05\)），并从理论上证明了在多项式时间内可以在不牺牲多样性的前提下校准熵。

研究背景与动机¶

领域现状：自回归语言模型在生成时存在"误差积累"问题——模型将自己的（略有偏差的）输出作为后续输入，导致生成文本的每步熵随长度增加而上升，而人类文本的每步熵大致恒定。
现有痛点：实践中通过截断分布（top-k/top-p/min-p sampling）来降低熵、提高质量，但这以牺牲多样性（更高的 log loss）为代价。这在需要聚合多个答案或合成数据生成时尤其受限。
核心矛盾：截断改善质量但损害多样性。模型规模增大是否能自动解决误校准？如果不能，理论上是否可能同时保持质量和多样性？
本文要解决什么？ (1) 量化误校准随模型规模的改善速率；(2) 建立理论框架解释为什么改善缓慢；(3) 证明无损校准的理论可能性。
切入角度：从幂律分布中 singleton token 的概率出发，建立 scaling exponent 与数据分布 \(\alpha\) 的关系。
核心idea一句话：数据分布的幂律指数 \(\alpha \approx 1\) 导致生成稀有 token 的概率随数据量仅以 \(m^{1/\alpha - 1} \approx m^0\) 衰减，因此误校准改善极慢。

方法详解¶

整体框架¶

三部分：(1) 理论分析——简化模型中 singleton mass 的 scaling；(2) 实验测量——0.5B-70B 模型的误校准 scaling；(3) 理论可行性——证明多项式时间无损校准算法的存在性。

关键设计¶

Singleton Mass Scaling 理论:
做什么：分析模型生成训练中只见过一次的 token 的概率如何随数据量缩放
核心思路：对于 \(\alpha\)-幂律分布，生成 singleton 的概率为 \(\mathbb{E}[K_{m,1}/m] = C_\alpha m^{1/\alpha - 1}\)。当 \(\alpha \approx 1\)（文本的典型值），exponent \(\approx 0\)，即概率几乎不随数据量下降
设计动机：singleton token 被生成后进入 context 会"脱轨"后续生成，其概率控制误差积累速率
多模型族 Scaling Law 测量:
做什么：在 4 个模型族（Qwen2.5, Llama3, Llama2, Pythia）× 3 个数据集上测量 calibration error vs 模型参数量
核心思路：\(\log \text{EntCE} = \beta \cdot \log m + C\)，测量 \(\beta\)（scaling exponent）
设计动机：验证理论预测，确认文本数据集的 scaling 极慢而代码数据集较快
无损校准的理论可行性:
做什么：证明存在多项式时间算法可以校准熵而不增加 log loss
核心思路：假设有一个黑箱可以拟合文本前缀"未来熵"的回归模型，则可设计校准过程：根据每个候选 token 的预期后续熵调整其概率
设计动机：Braverman et al. (2020) 证明了全局温度缩放可行但计算不可行；本文证明了局部调整的多项式时间可行性

实验关键数据¶

Scaling Exponents（calibration error vs model size）¶

数据集	幂律指数 \(\alpha\)	理论预测 exponent	Llama2/Pythia 实测	Qwen2.5/Llama3 实测
WikiText	0.918	+0.089	~0.0	~-0.13
WritingPrompts	1.114	-0.10	~0.0	~-0.13
CodeContests	1.5	-0.33	~-0.2	~-0.35

Instruction Tuning 效果¶

设置	熵	Log Loss	校准效果
Base (temperature 1.0)	过高	基线	未校准
Temperature 0.85	降低	增加↑	部分校准（牺牲多样性）
Instruction-tuned	大幅降低	大幅增加↑	过度校准

关键发现¶

文本数据集的 scaling exponent 接近 0（~-0.05），意味着将 calibration error 降低 10 倍需要模型增大 \(10^{10}\) 倍
代码数据集表现更好（exponent ~-0.3），因为 \(\alpha = 1.5\)（更陡的幂律尾部）
指令微调和截断都是以多样性换质量——这解释了"alignment tax"现象
新模型族（Qwen2.5, Llama3）比旧模型族略好，可能与预训练数据混合中的中期训练阶段有关

亮点与洞察¶

幂律理论的优雅连接：将 NLP 中经典的 Zipf 定律与 LLM 生成质量问题联系起来，解释了为什么"更大的模型用类似的 truncation 参数"
无损校准的理论希望：虽然实际上不可行，但证明了理论上生成稳定性和多样性可以兼得，为未来研究指明方向
对合成数据生成的启示：如果截断损害多样性，用截断后的模型生成训练数据可能导致能力衰退

局限性 / 可改进方向¶

singleton mass 模型过于简化：实际误差积累不仅来自 singleton token
无损校准算法不可实际运行：需要能预测文本"未来熵"的黑箱
仅研究 base model：instruction-tuned model 的更细粒度分析有限

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立熵校准的 scaling law，幂律理论连接优雅
实验充分度: ⭐⭐⭐⭐⭐ 4 个模型族 × 3 个数据集，从 0.5B 到 70B
写作质量: ⭐⭐⭐⭐⭐ 理论和实验交织自然，结论清晰
价值: ⭐⭐⭐⭐⭐ 对理解 LLM 生成质量和 scaling 有深远意义