Valid Inference with Imperfect Synthetic Data¶

会议: NeurIPS 2025
arXiv: 2508.06635
代码: 待确认
领域: llm_nlp
关键词: synthetic data, statistical inference, GMM, prediction-powered inference, computational social science

一句话总结¶

提出基于广义矩估计（GMM）的无超参数框架，将 LLM 生成的不完美合成数据与真实数据结合进行统计有效推断，当合成数据残差与真实数据残差相关时可显著降低估计方差，且在最坏情况下（合成数据完全无信息）也不会损害估计质量。

研究背景与动机¶

LLM 在有限数据场景中的应用日益增多，尤其在计算社会科学和人类受试者研究中。现有工作主要探索两种范式：

代理标注（Proxy）：用模型为无标签数据预测标签/协变量
合成模拟（Synthetic）：用模型生成全新的合成样本（如模拟问卷调查响应）

然而，朴素地将合成数据与真实数据混合会导致严重偏差的估计，破坏统计有效性。现有的去偏方法（如 Prediction-Powered Inference, PPI）主要研究代理标注场景，对完全合成样本（文本和标签均为模型生成）如何使用的问题尚未解决。

核心挑战：如何在利用合成数据提高估计效率的同时，保持一致性（consistency）和正确的渐近覆盖率（asymptotic coverage）？

方法详解¶

整体框架¶

构建三层数据结构： - 标注数据 $\mathcal{D}_{\text{labeled}} = \{(T_i, X_i, Y_i)\}_{i=1}^n$：少量人工标注 - 代理数据 $\mathcal{D}_{\text{proxy}}$：用模型 $f$ 为所有文本预测 $(\hat{X}, \hat{Y})$ - 合成数据 $\mathcal{D}_{\text{synthetic}}$：条件生成全新样本 $(\tilde{T}_k, \tilde{X}_k, \tilde{Y}_k)$

关键创新在于合成数据的生成策略和多源信息的 GMM 整合方法。

关键设计一：条件合成数据生成¶

为每个真实文本 $T_i$ 条件地生成一个新样本 $\tilde{T}_i$：

\[\tilde{T}_k \sim \mathbb{P}(\cdot \mid T_i, X_i) \quad \text{（标注样本）}$$ $$\tilde{T}_k \sim \mathbb{P}(\cdot \mid T_j, \hat{X}_j) \quad \text{（无标注样本）}\]

然后用模型提取合成样本的协变量和结果：$\tilde{X}_k \sim \mathbb{P}(\cdot | \tilde{T}_k)$，$\tilde{Y}_k \sim \mathbb{P}(\cdot | \tilde{T}_k)$。

两个动机： - 机器学习角度：类似 in-context prompting，以真实样本为示例引导生成，迭代不同样本提高多样性 - 统计学角度：引入真实文本 $T_i$ 与合成样本 $\tilde{T}_i$ 之间的相关性结构，这对后续 GMM 整合至关重要

关键设计二：增广矩条件的 GMM 估计¶

目标参数 $\theta^*$ 由矩条件识别：$\mathbb{E}[\psi^{(\ell)}(\theta^*)] = 0$。

为每种辅助数据（代理/合成）引入辅助参数 $\eta_m$，构造增广矩向量：

\[g_t(\theta, \eta) = \begin{bmatrix} S_t \\ S_t \\ \vdots \\ 1 \\ \vdots \end{bmatrix} \odot \begin{bmatrix} \psi(\theta) \\ \psi(\eta_1) \\ \vdots \\ \psi(\eta_1) \\ \vdots \end{bmatrix} \in \mathbb{R}^{p + 2Mp}\]

其中 $S_t$ 是标注指示变量（$s=1$ 标注，$s=0$ 无标注），$M$ 是辅助数据源数量。

关键结构： - $\theta$ 仅出现在真实标注数据的矩中 → 保证一致性不受合成数据质量影响 - 每个 $\eta_m$ 有两组矩：一组只在标注数据上评估（捕捉真实-辅助残差相关性），一组在全部数据上评估（利用大样本量）

损失函数 / 训练策略：两步 GMM¶

采用两步 GMM 估计：

第一步：用单位矩阵 $\mathbf{W}_T = \mathbf{I}$ 估计初始参数 $(\hat{\theta}_T^{(os)}, \hat{\eta}_T^{(os)})$

第二步：计算最优权重矩阵（矩协方差的逆）：

\[\hat{\Omega}_T = \frac{1}{T} \sum_{t=1}^T g_t(\hat{\theta}^{(os)}, \hat{\eta}^{(os)}) g_t(\hat{\theta}^{(os)}, \hat{\eta}^{(os)})^\top\]

\[\hat{\mathbf{W}}_T = \hat{\Omega}_T^{-1}\]

然后最小化加权 GMM 目标：

\[\hat{\theta}_T, \hat{\eta}_T = \arg\min_{\theta, \eta} \left[\frac{1}{T} \sum_t g_t(\theta, \eta)\right]^\top \hat{\mathbf{W}}_T \left[\frac{1}{T} \sum_t g_t(\theta, \eta)\right]\]

核心机制：第一步中合成数据不影响 $\theta$ 估计（矩独立）；第二步中权重矩阵的非对角项捕捉辅助数据残差与真实数据残差的协方差，使辅助信息能帮助改善 $\theta$ 的估计。

理论保证¶

Proposition 1：估计量 $\hat{\theta}_T$ 一致且渐近正态：

\[\sqrt{T}(\hat{\theta}_T - \theta) \xrightarrow{d} \mathcal{N}(0, V)\]

Theorem 1（方差分析）：将矩分为真实数据残差 $m_t(\theta)$ 和合成数据残差 $h_t(\eta)$：

最坏情况：合成残差与真实残差独立时，方差退化为仅用真实数据的最优方差 → 无害
最好情况：合成残差能预测真实残差时，方差下界正比于真实残差对合成残差的回归残差方差 → 显著改善

实验关键数据¶

主实验：四个计算社会科学任务¶

使用 GPT-4o 生成代理和合成数据，在 Logistic 回归和 OLS 回归上评估：

任务一：hedging markers 对感知礼貌度的影响（Stack Exchange / Wikipedia）
任务二：第一人称复数代词对感知礼貌度的影响
任务三：肯定性语言对媒体气候变化立场的影响（新闻标题）
任务四：立法者意识形态对法案类型的影响（国会法案）

指标	GMM-Synth vs 基线
MSE	8/8 任务最低，低标注率下降幅 >50%
覆盖率	所有任务保持有效覆盖
置信区间宽度	7/8 任务最窄
有效样本量	节省 >50% 人工标注

消融实验：GMM-Synth vs GMM-Proxy¶

对比	结论
GMM-Synth vs GMM-Proxy	GMM-Synth 在所有任务上一致优于 GMM-Proxy
PPI++Synth vs PPI++Proxy	PPI++ 中合成数据收益不明显（5/8 任务无改善）

说明 GMM 框架比现有去偏方法更有效地整合合成数据。

基线对比¶

方法	MSE 表现	覆盖率	超参数
Real Only	基准	✓	无
PPI++Proxy	优于 Real Only	✓	无
PPI++Synth	有时优于 Proxy，有时无改善	✓	需交叉验证选 α
RePPI	中等改善	✓	需拟合模型
GMM-Synth	最佳	✓	无超参数

关键发现¶

合成数据收益在低标注率时最显著（正是合成数据最被需要的场景）
单独使用代理或合成数据会导致严重偏差估计
更弱的开源模型（Llama-3-8B, Qwen-3-8B）生成的合成数据也能带来收益，结论一致
GMM 方法无需超参数调优，而 PPI++ 需要交叉验证选择 α

亮点与洞察¶

理论优雅性：GMM 框架自然处理多源信息，最优权重矩阵自动度量合成-真实残差的相关性，无需人工调参。"最坏无害、最好大幅改善"的理论保证极为实用
生成策略的创新：条件于真实样本生成合成数据，既起到 in-context prompting 效果，又建立了统计意义上的相关性结构——机器学习直觉和统计理论的完美融合
可扩展性：框架自然支持多种辅助数据源（$M$ 个不同模型的合成数据），可即插即用扩展
实际意义深远：在标注昂贵的社会科学研究中，能节省 50%+ 人工标注且保持统计有效性

局限性 / 可改进方向¶

渐近保证的局限：理论保证是渐近的，极低数据量下可能出现覆盖率不足
模型质量依赖：合成数据质量极差时虽然无害，但也无法带来改善
任务范围：目前仅在回归类任务（GLM/OLS）上验证，更复杂的推断任务（如因果推断、结构方程模型）的适用性需进一步研究
生成成本：需要为每个样本条件生成合成数据，对大规模数据集的 API 调用成本较高
文本任务限定：框架针对文本数据设计，对其他模态（图像、表格）的推广未讨论

评分¶

新颖性: ⭐⭐⭐⭐ — 首次将 GMM 框架系统性地用于整合完全合成数据的统计推断，填补了重要理论空白
实验充分度: ⭐⭐⭐⭐ — 4 个真实社会科学任务 × 2 种回归 × 多种基线 × 多种 LLM，但任务类型偏窄
写作质量: ⭐⭐⭐⭐⭐ — 理论部分推导清晰，直觉解释到位，"残差预测残差"的核心洞察表达精准
价值: ⭐⭐⭐⭐ — 为 LLM 合成数据在严肃统计分析中的使用提供了理论基础和实用方法，前瞻性强