跳转至

Leveraging Robust Optimization for LLM Alignment under Distribution Shifts

会议: NeurIPS 2025 arXiv: 2504.05831 代码: 待确认 领域: llm_nlp 关键词: LLM alignment, distributionally robust optimization, distribution shift, synthetic data, preference optimization, calibration

一句话总结

提出 DoRA（Distribution-aware optimization for Robust Alignment），通过训练分布分类器为每个样本分配校准权重，结合 KL-DRO 框架最小化最坏情况损失，以模型无关的即插即用方式提升多种对齐算法在分布偏移下的鲁棒性，在 DPO/RRHF/LIRE 等基线上一致提升性能。

研究背景与动机

偏好对齐（preference alignment）是引导 LLM 输出符合人类价值观的关键技术。然而随着人工标注成本高昂，业界越来越依赖合成数据（LLM 生成的偏好数据），这引入了严重的分布偏移问题：

  1. LLM 生成数据与人类偏好不完全一致：合成数据可能反映模型自身的偏见而非真正的人类价值观
  2. 奖励模型存在偏差：用于标注偏好的奖励模型本身有 bias，导致次优标签
  3. 混合分布问题：实际训练数据是人类标注 + 多源合成数据的混合体

传统的经验风险最小化（ERM）假设训练分布等于目标分布，在上述场景下会学到偏向合成数据伪影的策略。

现有鲁棒方法（如 Robust DPO、Dr.DPO）主要针对成对噪声标签，且绑定于 Bradley-Terry 模型，无法泛化到列表式（listwise）等新兴对齐范式。

方法详解

整体框架

DoRA 是一个两阶段框架： 1. 阶段 1：训练分布分类器，估计每个样本与目标分布的关联度 2. 阶段 2：将分类器输出作为校准因子融入 DRO 目标，进行鲁棒对齐训练

混合响应偏移的形式化

定义混合响应偏移（Mixture Response Shift）：

\[P(y|x) = \alpha Q_0(y|x) + \sum_{i=1}^{n-1} \beta_i Q_i(y|x)\]

其中 \(Q_0\) 是目标人类偏好分布，\(Q_1, \ldots, Q_{n-1}\) 是合成分布，\(\alpha + \sum \beta_i = 1\)。

KL-DRO 基础

标准 DRO 最小化 KL 球内最坏情况期望损失：

\[\min_{\theta} \sup_{Q: D_{KL}(Q \| P) \leq \rho} \mathbb{E}_Q[\ell(\theta, \mathbf{z})]\]

通过变量替换 \(h(\mathbf{z}) = \frac{dQ}{dP}(\mathbf{z})\) 转化为关于密度比的优化。

问题：标准 DRO 过度悲观（over-pessimism），会将注意力集中在离群点（高损失但无意义的样本）上。

样本级校准机制

训练概率分类器 \(c_{\phi_i}\) 判断每个响应是否来自目标"黄金"分布，导出重要性权重：

\[w_{\phi_i}(y|x) = \frac{P_{\text{golden}}(y|x)}{Q_i(y|x)} = \gamma_i \frac{c_{\phi_i}(y|x)}{1 - c_{\phi_i}(y|x)}\]

其中 \(\gamma_i\) 为不平衡比率。用所有子分布的加权平均构造校准因子：

\[\tilde{h}(\mathbf{z}) = \frac{1}{n}\left(\frac{\gamma_0 c_{\phi_0}(y|x)}{\alpha(1-c_{\phi_0})} + \cdots + \frac{\gamma_{n-1} c_{\phi_{n-1}}(y|x)}{\beta_{n-1}(1-c_{\phi_{n-1}})}\right)\]

实际中添加稳定项 \(\frac{1}{n}\) 到分母防止权重爆炸。

DoRA 目标函数

将校准因子融入 DRO 目标，对偶形式为：

\[\min_{\theta} \lambda \log \mathbb{E}_P\left[\exp \frac{1}{\lambda}\left(\underbrace{\tilde{h}(\mathbf{z})}_{\text{Calibration}} \cdot \ell(\theta, \mathbf{z})\right)\right]\]
  • \(\tilde{h}(\mathbf{z})\) 大：样本接近目标分布，损失被放大
  • \(\tilde{h}(\mathbf{z})\) 小：样本偏离目标分布，损失被抑制
  • \(\lambda\) 控制鲁棒性程度：越小越关注最坏情况

损失函数 \(\ell(\theta, \mathbf{z})\)

DoRA 是方法无关的即插即用模块，\(\ell\) 可以是： - 成对：DPO、R-DPO、EXO、SimPO 损失 - 列表式：DPO_PL、RRHF、LIRE 损失

实现细节

  • 分类器：BERT-base，二分类（目标分布 vs 其他）
  • SFT 预训练：在偏好响应上训练作为策略优化起点
  • \(\lambda = 1\) 用于所有实验

实验关键数据

主实验：成对偏好数据集

基线 Mistral-7B Win↑ Mistral-7B Lose↓ Llama-8B Win↑ Llama-8B Lose↓
DPO 74.8 23.5 72.9 23.7
Robust DPO 77.8 20.0 74.2 22.9
Dr.DPO 75.2 22.4 73.0 24.3
DPO + DoRA 75.4 21.4 75.4 20.9

DoRA 在 Lose rateh 上一致优于所有鲁棒基线，实现最低失败率。

列表式偏好数据集

方法 HH Win (Mistral) HH Win (Llama) Sum Win (Mistral) Sum Win (Llama)
DPO_PL 75.0 81.0 53.3 54.5
+ DoRA 78.0 82.5 55.3 59.0
RRHF 76.5 43.8 70.0 70.8
+ DoRA 79.8 44.5 72.0 74.0
LIRE 72.8 82.0 82.5 82.5
+ DoRA 84.0 84.5 81.0 83.8

DoRA 在几乎所有基线和任务组合上提升性能，LIRE + DoRA 提升最显著（HH 上 +11.2%）。

消融实验

DRO vs Reweighting vs DoRA：

策略 表达式 LIRE HH LIRE Sum
DRO \(\log \mathbb{E} \exp(\ell/\lambda)\) 65.0 70.0
Reweighting \(\tilde{h} \cdot \ell\) 80.8 78.3
DoRA \(\tilde{h} \cdot \log \mathbb{E} \exp(\ell/\lambda)\) 84.0 81.0

校准 + 鲁棒优化的组合效果显著优于单独使用任一组件。

\(\lambda\) 敏感性：\(\lambda = 1\) 表现最佳。增大 \(\lambda\) 使策略趋近 ERM，减小则过于保守。

标签噪声鲁棒性：

腐蚀率 DPO_PL + DoRA LIRE + DoRA
20% 71.0 74.5 67.7 71.5
40% 64.5 67.0 52.5 55.0
60% 57.3 60.8 61.4 65.3

随腐蚀率增加，DoRA 的改善幅度保持稳定。

自训练迭代：

迭代 LIRE + DoRA
Iter 1 80.3 82.5
Iter 2 83.0 85.0
Iter 3 84.5 86.8

DoRA 在分布不断漂移的自训练场景下依然有效。

关键发现

  1. DoRA 是方法无关的——在 7 种不同对齐算法上均有提升
  2. 即使"黄金"数据集也存在分布偏移，DoRA 仍能带来改善
  3. 奖励-置信度相关性分析表明 DoRA 生成的高奖励输出更符合目标分布特征
  4. 单独使用 DRO 可能因过度悲观而表现不及重加权方法
  5. 校准 + 鲁棒优化的协同效应是核心创新

亮点与洞察

  1. 即插即用的通用性：不绑定特定对齐公式（BT 或 PL），可无缝集成到任何损失函数
  2. 理论推导完整：从 DRO 到校准因子到最终目标函数，每一步都有数学支撑
  3. 直击痛点：合成数据的分布偏移是当前对齐研究的核心挑战之一
  4. 实验全面覆盖：7 种基线 × 3 个数据集 × 2 个模型 + 噪声鲁棒性 + 自训练 + 消融
  5. 简单有效：分类器仅需 BERT-base，校准因子预计算后无额外推理开销

局限性

  1. 需要数据来源信息：假设知道样本来自哪个子分布（人类 vs 模型生成），在完全开放域场景下不可用
  2. 需要参考分布：假设存在或可近似目标分布（黄金数据），若参考不可靠则效果受限
  3. 分类器质量依赖：若 BERT 分类器不准确，校准因子会引入偏差
  4. 清洁数据收益有限：在无分布偏移的理想场景下，DRO 的保守性可能带来反效果
  5. 在线场景未充分验证：仅做了初步的自训练实验，持续在线适应场景有待探索

相关工作与启发

  • 与 Robust DPO/Dr.DPO 的区别：后者针对成对标签翻转噪声，绑定 BT 模型；DoRA 处理更广泛的分布偏移
  • 与 RSO (rejection sampling optimization) 的互补：RSO 通过拒绝采样减少分布不匹配，DoRA 通过重加权减少
  • 与 GRPO 的关系：GRPO 迭代式优先处理最差组，DoRA 通过校准因子一次性完成
  • 启发：校准机制可推广到 RLHF 的奖励模型训练中，处理奖励标注的分布偏移

评分

  • 创新性: ⭐⭐⭐⭐ — DRO + 校准因子的组合有新意，但单独的组件都是已知技术
  • 实用性: ⭐⭐⭐⭐⭐ — 即插即用、多基线一致提升、实现简单，工程价值极高
  • 实验严谨度: ⭐⭐⭐⭐⭐ — 覆盖 7 种算法、噪声测试、自训练、消融、奖励-置信度分析
  • 写作质量: ⭐⭐⭐⭐ — 理论推导清晰，但对 DRO 背景知识要求较高
  • 推荐阅读指数: ⭐⭐⭐⭐ — 做 LLM 对齐/偏好学习/鲁棒优化的研究者强烈推荐