Fairness under Competition¶
会议: NeurIPS 2025
arXiv: 2505.16291
代码: GitHub
领域: ai_safety
关键词: 算法公平性, 竞争生态, Equal Opportunity, 多分类器公平性, 生态系统公平性
一句话总结¶
本文首次研究竞争环境下多个公平分类器的联合公平性问题，理论证明即使每个分类器都满足 Equal Opportunity (EO)，生态系统可能仍然不公平，且对偏差分类器进行公平性调整反而可能降低生态系统公平性。
研究背景与动机¶
- 领域现状：算法公平性已成为 ML 核心议题，Equal Opportunity (EO)、Demographic Parity (DP) 等约束被广泛用于调整分类器以满足公平性要求。
- 现有痛点：现有研究几乎只关注单个分类器的公平性，忽略了现实中多个企业（银行、雇主、保险公司）同时使用不同分类器对同一群体做决策的场景。
- 核心矛盾：即使每个分类器都独立满足 EO，分类器之间的相关性差异和服务人群重叠差异可能导致生态系统整体的不公平——一个群体可能有"两次机会"获得贷款，而另一个群体只有"一次机会"。
- 本文要解决什么：(1) 形式化定义竞争下的公平性 (EOC)；(2) 量化 EO 分类器导致 EOC 违反的程度；(3) 证明公平性调整可能反作用于生态系统公平性。
- 切入角度：从分类器间的 Pearson 相关性和服务人群重叠程度两个维度分析。
- 核心idea一句话：个体公平既不是生态系统公平的充分条件也不是必要条件，分类器相关性差异和覆盖人群差异是两个根本驱动力。
方法详解¶
整体框架¶
考虑两类玩家：借款者 \((x, a, y) \in X \times A \times Y\) 和贷款方集合 \(L\)。每个贷款方 \(\ell\) 使用分类器 \(c_\ell: X \times A \mapsto \{0,1\}\) 决定是否放贷。\(y=1\) 表示"合格借款者"。定义分类器假阴性率 \(\beta_\ell = \Pr[c_\ell(X,A)=0|Y=1]\)。
关键定义¶
- Equal Opportunity (EO)：
- 做什么：要求分类器在两个群体上的假阴性率相等
- 核心定义：EO level = \(|E[c_\ell(X,A)|Y=1,A=0] - E[c_\ell(X,A)|Y=1,A=1]|\)，EO level 为 0 即满足 EO
-
设计动机：确保合格申请者在不同群体中获得相同的被接受概率
-
Equal Opportunity under Competition (EOC)：
- 做什么：定义多分类器竞争下的公平性度量
- 核心定义：令 \(d(x,a) = \Pr[R(x,a) \geq 1]\) 为至少获得一个offer的概率，其中 \(R(x,a) = \sum_{\ell \in L} c_\ell(x,a)\)。EOC level = \(|E[d(X,A)|Y=1,A=0] - E[d(X,A)|Y=1,A=1]|\)
- 设计动机：在竞争生态中，用户关心的是"是否至少获得一个offer"而非某一个分类器是否公平
力量一：分类器相关性差异 (Section 3.1)¶
定义两个 Bernoulli 变量 \(B_\ell^a \equiv c_\ell(X,A)|(Y=1, A=a)\)，其 Pearson 相关系数为 \(\rho^a\)。
Proposition 1：两个 EO 分类器（假阴性率 \(\beta_1, \beta_2\)）的 EOC level 为：
其中 \(\sigma_\ell = \sqrt{\beta_\ell(1-\beta_\ell)}\)。最坏情况下 EOC level 为 \(\min\{\beta_1, \beta_2\} - \max\{0, \beta_1+\beta_2-1\}\)。
直觉：若两个分类器在群体 0 上高度相关（用同一模型）而在群体 1 上独立，群体 1 的合格者有"两次独立机会"获得 offer，而群体 0 只有"一次机会"。
Corollary 1：当 \(\beta_1 = \beta_2 = \beta \leq 1/2\)，最坏 EOC level 为 \(\beta\)——与假阴性率同阶。
力量二：服务人群差异 (Section 3.2)¶
当两个分类器服务的借款者子集 \(S_1, S_2\) 不完全重叠时，定义重叠率 \(\gamma^a\) 为群体 \(a\) 中两个分类器共同覆盖的比例。
Proposition 4：两个不相关的 EO 分类器，EOC level 为：
Corollary 3：\(\beta_1 = \beta_2 = \beta\) 时，EOC level = \(\beta(1-\beta)|\gamma^0 - \gamma^1|\)，当两组重叠率差异越大，EOC 越严重。
公平性调整的有害性 (Section 4)¶
通过 post-processing（Hardt et al., 2016）将非 EO 分类器调整为 EO：
- Example 3：两个分类器调整前不满足 EO 但满足 EOC，调整后满足 EO 但不再满足 EOC。原因是调整改变了分类器在不同群体上的相关性结构。
- Example 4：一个完美分类器在调整后引入均匀的假阴性率，但由于服务范围不对称，导致生态系统不公平。
推广：多分类器与一般效用¶
- Proposition 3：\(n\) 个 EO 分类器的最坏 EOC level 为 \(\min_i \beta_i - \max\{0, \sum_j \beta_j - 1\}\)
- EOC 随分类器数量增加而恶化：\(n\) 个独立分类器时 EOC = \(\beta - \beta^n\)，递增于 \(n\)
实验关键数据¶
主实验：Lending Club 数据¶
使用 2007-2015 年 Lending Club 约 890K 贷款数据，保护属性为是否有抵押。
| 实验 | 训练集大小 | 公平调整后EOC恶化概率 (95% CI) |
|---|---|---|
| Exp 1 (LR vs DT, 同数据) | 100K | [26.2%, 34.0%] |
| Exp 2 (LR vs LR, 不同数据) | 100K | [12.6%, 19.0%] |
| Exp 3 (LR vs DT, 不同数据) | 100K | [14.2%, 20.6%] |
| Exp 1 (LR vs DT, 同数据) | 300 | [75.0%, 82.2%] |
| Exp 2 (LR vs LR, 不同数据) | 300 | [75.6%, 82.8%] |
EOC 恶化倍数¶
| 实验 | 训练集大小 100K | 说明 |
|---|---|---|
| Exp 1 | EOC 平均恶化 19× | 不同模型类型、相同数据 |
| Exp 2 | EOC 平均恶化 1.3× | 相同模型、不同数据 |
| Exp 3 | EOC 平均恶化 3.1× | 不同模型类型+不同数据 |
关键发现¶
- 公平性调整后 EOC 恶化的概率在小训练集上可达 75-82%，即使在大训练集 (100K) 上仍有 15-34%
- EOC 恶化倍数可达 19×（当模型类型不同、训练数据相同时恶化最严重）
- 随着训练集增大，分类器提高准确率后，假阴性率下降，EOC 问题相应缓解
亮点与洞察¶
- 问题定义极为新颖：首次将公平性研究从单分类器推到竞争生态系统，识别了两个导致不公平的"基本力"——相关性差异和覆盖差异
- 理论结果简洁有力：EOC level 与假阴性率同阶的结论非常直觉，且指出了"提高分类器准确率"这一同时利于性能和公平性的方向
- 反直觉发现：公平性调整（post-processing）可能损害生态系统公平性，这对政策制定有重要启示
局限性 / 可改进方向¶
- 理论分析假设了 0-1 偏好、两个群体等简化条件，实际中群体数量和效用函数更复杂
- 实验使用模拟的保护属性（是否有抵押）而非真实人口统计信息，可能低估真实场景中的问题
- 缺少具体的"生态系统层面公平性干预"方案——论文只诊断了问题，未给出解决方案
- 未考虑分类器之间的策略性互动（如纳什均衡下的公平性）
相关工作与启发¶
- vs Bower et al. (2017)：他们研究的是分类器的顺序组合（pipeline），本文研究并行竞争，本文能捕捉分类器间的相关性效应
- vs Dwork & Ilvento (2019)：他们关注平台中子任务的个体公平性，且假设分类器独立，本文的相关性分析是关键创新
- vs Liu et al. (2018)：研究公平性的长期动态效应（时间维度），本文则研究竞争/并行效应（空间维度），两者互补
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次形式化竞争下的公平性，问题定义和两个"力"的识别极具开创性
- 实验充分度: ⭐⭐⭐⭐ 理论与实验互补，但缺少真实保护属性和更多数据集
- 写作质量: ⭐⭐⭐⭐⭐ 数学严谨、例子直觉、层次清晰
- 价值: ⭐⭐⭐⭐ 对公平性政策制定有重要启示，但缺乏具体干预方案