ConfHit: Conformal Generative Design with Oracle Free Guarantees¶
会议: ICLR2026
arXiv: 2603.07371
代码: 待确认
领域: AI安全
关键词: conformal prediction, generative model, drug discovery, statistical guarantee, density ratio
一句话总结¶
提出 ConfHit,一个模型无关的保理推断框架,通过密度比加权的共形 p 值和嵌套检验策略,在无需实验验证(oracle-free)和分布偏移条件下,为生成模型(药物发现等)提供有限样本统计保证——生成的候选集以 \(1-\alpha\) 概率包含至少一个 hit。
研究背景与动机¶
- 领域现状:深度生成模型在分子生成中取得成功。共形预测提供模型无关的统计保证,已有工作将 CP 用于校准生成模型,但需要 oracle 验证新样本。
- 现有痛点:(a) 需要 oracle——现有 CP 方法需要对新生成样本做实验验证,在药物发现中不切实际;(b) 分布偏移——生成样本分布与历史标注数据不同;(c) 预算限制——实验成本高,需要在有限预算下判断。
- 核心矛盾:需要统计保证但没有 oracle 验证新样本、且存在分布偏移。
- 本文要解决什么? (i) 认证:给定生成批次,能否保证包含 hit?(ii) 设计:能否精简候选集同时保持保证?
- 切入角度:利用历史数据与生成样本间的加权可交换性(密度比校正分布偏移),构造联合共形 p 值。
- 核心idea一句话:用密度比加权排列 p 值认证 + 嵌套检验精简候选集,无需 oracle、有限样本保证。
方法详解¶
整体框架¶
输入:历史标注数据 + 生成样本 + 置信水平 \(\alpha\)。(1) 估计密度比;(2) 对每个嵌套子集构造加权共形 p 值;(3) 嵌套检验:找最小 \(\hat{N}\) 使 \(p_{\hat{N}} \leq \alpha\)。
关键设计¶
- 加权共形 p 值(认证):
- 做什么:量化生成批次中是否存在 hit 的置信度
- 核心思路:利用不活跃标注样本和生成样本的加权可交换性,对随机排列计算 p 值
-
统计保证(Theorem 3.1):\(\Pr(p_N \leq t | \text{无 hit}) \leq t\),有限样本成立
-
嵌套检验(设计):
- 做什么:找最小候选集保持 \(1-\alpha\) 保证
-
Theorem 3.4:嵌套假设+单调 p 值→无需多重检验校正
-
密度比估计与鲁棒性:
- Theorem 3.5:量化估计误差对保证的影响
- 诊断工具:平衡性检查、合成偏移验证、敏感性分析
实验关键数据¶
主实验¶
| 任务 | 模型 | 错误率控制 | 候选集精简 |
|---|---|---|---|
| SBDD | TargetDiff/DecompDiff/MolCRAFT | ≤ α 一致 | 显著小于 N |
| CMO | Hgraph2graph/SELF-EdiT | ≤ α 一致 | 显著小于 N |
关键发现¶
- 5 模型 × 2 任务一致有效,模型无关性验证
- 候选集显著精简,减少实验成本
- 密度比校正必需:不做时错误率超 α
- 诚实报告不确定性:无法认证时输出 \(\hat{N}=0\)
亮点与洞察¶
- 首个 oracle-free 生成模型统计保证框架——真正实用于资源受限药物发现
- 嵌套假设避免多重检验校正——统计学上优雅
- "认证+设计"问题分离——清晰的问题拆解
- 鲁棒性理论+诊断工具——确保实际可靠
局限性 / 可改进方向¶
- 只用计算 oracle(AutoDock Vina)验证,未做真实湿实验
- 高维空间密度比估计仍困难
- 扩展到多性质同时保证是改进方向
相关工作与启发¶
- vs Quach et al.:需要 oracle。ConfHit 利用历史数据可交换性绕过
- vs CoDrug:做性质预测区间。ConfHit 做生成设计保证——不同问题
- vs 共形选择:控制假阳性率 vs 控制"无 hit"概率——不同错误类型
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 问题定义和解决方案都很新颖,首个 oracle-free 框架
- 实验充分度: ⭐⭐⭐⭐ 5模型×2任务全面验证,但缺真实湿实验
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导严谨,动机清晰
- 价值: ⭐⭐⭐⭐⭐ 直接影响生成式药物发现的实际部署决策