跳转至

ConfHit: Conformal Generative Design with Oracle Free Guarantees

会议: ICLR2026
arXiv: 2603.07371
代码: 待确认
领域: AI安全
关键词: conformal prediction, generative model, drug discovery, statistical guarantee, density ratio

一句话总结

提出 ConfHit,一个模型无关的保理推断框架,通过密度比加权的共形 p 值和嵌套检验策略,在无需实验验证(oracle-free)和分布偏移条件下,为生成模型(药物发现等)提供有限样本统计保证——生成的候选集以 \(1-\alpha\) 概率包含至少一个 hit。

研究背景与动机

  1. 领域现状:深度生成模型在分子生成中取得成功。共形预测提供模型无关的统计保证,已有工作将 CP 用于校准生成模型,但需要 oracle 验证新样本。
  2. 现有痛点:(a) 需要 oracle——现有 CP 方法需要对新生成样本做实验验证,在药物发现中不切实际;(b) 分布偏移——生成样本分布与历史标注数据不同;(c) 预算限制——实验成本高,需要在有限预算下判断。
  3. 核心矛盾:需要统计保证但没有 oracle 验证新样本、且存在分布偏移。
  4. 本文要解决什么? (i) 认证:给定生成批次,能否保证包含 hit?(ii) 设计:能否精简候选集同时保持保证?
  5. 切入角度:利用历史数据与生成样本间的加权可交换性(密度比校正分布偏移),构造联合共形 p 值。
  6. 核心idea一句话:用密度比加权排列 p 值认证 + 嵌套检验精简候选集,无需 oracle、有限样本保证。

方法详解

整体框架

输入:历史标注数据 + 生成样本 + 置信水平 \(\alpha\)。(1) 估计密度比;(2) 对每个嵌套子集构造加权共形 p 值;(3) 嵌套检验:找最小 \(\hat{N}\) 使 \(p_{\hat{N}} \leq \alpha\)

关键设计

  1. 加权共形 p 值(认证):
  2. 做什么:量化生成批次中是否存在 hit 的置信度
  3. 核心思路:利用不活跃标注样本和生成样本的加权可交换性,对随机排列计算 p 值
  4. 统计保证(Theorem 3.1):\(\Pr(p_N \leq t | \text{无 hit}) \leq t\),有限样本成立

  5. 嵌套检验(设计):

  6. 做什么:找最小候选集保持 \(1-\alpha\) 保证
  7. Theorem 3.4:嵌套假设+单调 p 值→无需多重检验校正

  8. 密度比估计与鲁棒性:

  9. Theorem 3.5:量化估计误差对保证的影响
  10. 诊断工具:平衡性检查、合成偏移验证、敏感性分析

实验关键数据

主实验

任务 模型 错误率控制 候选集精简
SBDD TargetDiff/DecompDiff/MolCRAFT ≤ α 一致 显著小于 N
CMO Hgraph2graph/SELF-EdiT ≤ α 一致 显著小于 N

关键发现

  • 5 模型 × 2 任务一致有效,模型无关性验证
  • 候选集显著精简,减少实验成本
  • 密度比校正必需:不做时错误率超 α
  • 诚实报告不确定性:无法认证时输出 \(\hat{N}=0\)

亮点与洞察

  • 首个 oracle-free 生成模型统计保证框架——真正实用于资源受限药物发现
  • 嵌套假设避免多重检验校正——统计学上优雅
  • "认证+设计"问题分离——清晰的问题拆解
  • 鲁棒性理论+诊断工具——确保实际可靠

局限性 / 可改进方向

  • 只用计算 oracle(AutoDock Vina)验证,未做真实湿实验
  • 高维空间密度比估计仍困难
  • 扩展到多性质同时保证是改进方向

相关工作与启发

  • vs Quach et al.:需要 oracle。ConfHit 利用历史数据可交换性绕过
  • vs CoDrug:做性质预测区间。ConfHit 做生成设计保证——不同问题
  • vs 共形选择:控制假阳性率 vs 控制"无 hit"概率——不同错误类型

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 问题定义和解决方案都很新颖,首个 oracle-free 框架
  • 实验充分度: ⭐⭐⭐⭐ 5模型×2任务全面验证,但缺真实湿实验
  • 写作质量: ⭐⭐⭐⭐⭐ 理论推导严谨,动机清晰
  • 价值: ⭐⭐⭐⭐⭐ 直接影响生成式药物发现的实际部署决策