Controllable Feature Whitening for Hyperparameter-Free Bias Mitigation¶

会议: ICCV 2025
arXiv: 2507.20284
代码: 无
领域: AI Safety / 公平性与偏差缓解
关键词: 偏差缓解, 特征白化, 公平性, demographic parity, equalized odds

一句话总结¶

提出可控特征白化(CFW)框架，通过白化变换消除目标特征与偏差特征之间的线性相关性来缓解模型偏差，无需对抗学习或额外正则化超参数，且可通过加权系数平滑控制demographic parity和equalized odds之间的权衡。

研究背景与动机¶

深度神经网络在偏差数据集上训练时，容易依赖虚假相关性（如通过背景识别物体），导致在偏差冲突样本上性能严重下降。现有方法存在两大问题：

对抗学习不稳定：通过训练辅助网络预测偏差属性来"遗忘"偏差信息，但min-max博弈训练不稳定

正则化需要仔细调参：用互信息、HSIC等统计量测量依赖性，且难以评估神经估计器的精度

本文的核心洞察是：虽然零协方差不等于统计独立，但它确保了线性独立——即一个变量无法作为另一个变量的线性组合。由于深度网络的最后一层通常是线性分类器，送入最后线性层的特征之间的线性无关就足以实现有效去偏。

方法详解¶

整体框架¶

先用标准交叉熵在偏差数据上训练一个Vanilla网络 \(f_t\)，得到偏差的目标编码器 \(h_t\)
冻结 \(h_t\)，训练偏差编码器 \(h_b\) 预测偏差属性 \(B\)
将目标特征 \(z_t = h_t(X)\) 和偏差特征 \(z_b = h_b(X)\) 拼接后送入可控白化模块 \(W_\lambda\)
白化后的目标特征 \(z_{wt}\) 和偏差特征 \(z_{wb}\) 线性无关
分别训练线性分类器 \(g_{wt}\) 和 \(g_{wb}\) 预测目标和偏差属性

关键设计¶

特征白化去偏：
- 白化变换：\(\tilde{X} = \Sigma^{-1/2} \cdot (X - \mu \cdot \mathbf{1}^\top)\)
- 将目标特征和偏差特征拼接为 \(z = [z_t; z_b]\)，进行联合白化
- 白化后 \(z_{wt}\) 与 \(z_{wb}\) 之间所有通道对正交，线性分类器 \(g_{wt}\) 无法从 \(z_{wt}\) 中线性提取偏差信息
- 使用coupled Newton-Schultz迭代计算 \(\Sigma^{-1/2}\)，数值稳定且计算高效
- 利用 \(\Sigma^{-1/2}\) 的非唯一性，使 \(z_{wt}\) 尽量接近原始 \(z_t\)，保留有用信息
协方差重加权策略：
- 偏差协方差 \(\Sigma_b\)：直接从偏差训练数据估计
- 无偏协方差 \(\Sigma_u\)：对稀有组过采权、优势组欠采权，令 \(P(y,b|\mathcal{D}_u) = \frac{1}{N_Y \cdot N_B}\)
- 关键洞察：在无偏分布中demographic parity等价于equalized odds
- 用 \(\Sigma_b\) 白化促进demographic parity（\(Y\) 与 \(B\) 无条件独立）
- 用 \(\Sigma_u\) 白化促进equalized odds（\(Y\) 给定下 \(\hat{Y}\) 与 \(B\) 条件独立）
可控特征白化(CFW)：
- 混合协方差：\(\Sigma_\lambda = \lambda \cdot \Sigma_u + (1-\lambda) \cdot \Sigma_b\)
- \(\lambda = 0\)：纯偏差协方差白化，降低 \(\Delta_{DP}\) 但可能丢失目标相关信息
- \(\lambda = 1\)：纯无偏协方差白化，降低 \(\Delta_{EO}\) 但可能因稀有组样本多样性不足而过拟合
- \(\lambda = 0.25\)：经验最优，在所有数据集上一致表现良好，因此方法可视为无超参数的
- 训练目标：\(\min_{g_{wt}} \mathcal{L}_t + \min_{h_b, g_{wb}} \mathcal{L}_b\)

损失函数 / 训练策略¶

冻结目标编码器 \(h_t\)（来自Vanilla预训练），仅训练偏差编码器 \(h_b\) 和两个线性分类器
对 \(\mathcal{L}_t\) 采用损失重加权，欠加权偏差对齐样本的损失以模拟无偏数据的损失分布
训练稳定，不需要min-max对抗博弈

实验关键数据¶

主实验¶

方法	偏差标签	CIFAR-10(0.5%)	CIFAR-10(5%)	bFFHQ(0.5%)	CelebA-Blond(WG)
Vanilla	✗	23.26	41.98	56.20	16.48
LfF	✗	28.57	50.27	62.20	-
SelecMix+L(w GT)	✓	37.02	53.47	75.00	-
Ours+V	✓	32.08	53.08	79.80	-
Ours+S	✓	42.51	59.05	82.77	-
Ours (Res50)	✓	-	-	-	91.02

消融实验¶

配置 (λ值)	\(\Delta_{DP}\)↓	\(\Delta_{EO}\)↓	偏差冲突精度↑	说明
λ=0 (纯偏差)	低	高	中等	demographic parity但丢信息
λ=0.25 (推荐)	中	中	最高	最佳平衡点
λ=1 (纯无偏)	高	低	较高但过拟合	equalized odds但稀有组过拟合

关键发现¶

仅消除线性相关性就能显著提升公平性，无需建模高阶依赖
\(\lambda=0.25\) 在所有数据集上一致最优，方法实质上无超参数
t-SNE可视化显示白化后特征 \(z_{wt}\) 在偏差对齐和偏差冲突样本上都能按目标属性聚类
与更好的目标编码器（如SelecMix）结合可进一步提升（Ours+S vs Ours+V）
CelebA-BlondHair任务Res50上worst-group精度达91.02%，超越GroupDRO(87.2)和LISA(89.3)

亮点与洞察¶

理论洞察深刻：线性无关虽不等于统计独立，但在"最后线性分类器"设定下已足够有效
方法极简而有效：只需冻结编码器+白化模块+两个线性分类器，无对抗/无正则化
可控性强：单参数 \(\lambda\) 平滑插值demographic parity和equalized odds
证明了"fine-tune最后线性层足以实现公平性"这一重要观察

局限与展望¶

需要偏差标签（bias label），在偏差属性未知的场景中不直接适用
仅消除线性依赖，理论上可能遗留高阶非线性偏差
纯无偏协方差白化 \(\lambda=1\) 时存在过拟合风险，说明重加权无法完全解决样本多样性不足
编码器冻结策略可能限制表征质量的上限

评分¶

新颖性: ⭐⭐⭐⭐ 白化用于去偏的thought角度新颖，但白化本身是成熟技术
实验充分度: ⭐⭐⭐⭐⭐ 四个数据集、多种偏差比例、对比方法全面、消融详细
写作质量: ⭐⭐⭐⭐ 理论推导清晰，实验分析系统
价值: ⭐⭐⭐⭐ 无超参数的去偏方法实用性强，适合工业场景快速部署