Geometric Knowledge-Guided Localized Global Distribution Alignment for Federated Learning¶

会议: CVPR 2025
arXiv: 2503.06457
代码: https://github.com/WeiDai-David/2025CVPR_GGEUR
领域: AI安全
关键词: 联邦学习、数据异质性、几何分布对齐、CLIP嵌入、协方差重建

一句话总结¶

在联邦学习中通过从局部协方差矩阵精确重建全局协方差来获取全局嵌入分布的几何形状，沿全局主方向生成增强样本本地化全局分布信息，在 CIFAR-100 极端异质场景（β=0.01）下提升 17 个百分点。

领域现状：联邦学习（FL）面临严重的数据异质性问题——各客户端数据分布不同导致模型聚合后性能下降。CLIP 等预训练模型的 embedding 为 FL 提供了统一的特征空间。

现有痛点：(1) FedAvg 在极端非 IID（β=0.01）下 CIFAR-100 仅 58.71%。(2) FedFA 用高斯假设近似全局分布，但真实分布可能不是高斯的。(3) 各客户端无法直接访问全局数据分布。

核心矛盾：需要全局数据分布信息来本地化训练，但数据不能共享。常用的均值/高斯近似丢失了分布的几何结构。

本文目标 在不共享数据的前提下精确重建全局嵌入分布的"几何形状"（协方差矩阵的主方向），用于本地数据增强。

切入角度：协方差矩阵的特征分解给出分布的"几何形状"——主方向和尺度。全局协方差可以从局部统计量精确计算（不需要数据共享），沿全局主方向加扰动即可模拟全局分布中的样本。

核心 idea：从局部协方差精确重建全局协方差的几何形状（特征向量+特征值），沿主方向生成增强样本实现本地化的全局分布对齐。

各客户端：CLIP 提取嵌入 → 计算局部类协方差矩阵 → 上传到服务器 → 服务器按加权公式精确重建全局协方差 → 下发特征向量/特征值 → 客户端沿全局主方向生成增强样本 → 训练本地 MLP 分类器。

全局协方差精确重建:
- 功能：不共享数据的前提下获取全局嵌入分布的几何结构
- 核心思路：\(\Sigma_i = \frac{1}{N_i}(\sum_k n_k^i \Sigma_k^i + \sum_k n_k^i (\mu_k^i - \mu_i)(\mu_k^i - \mu_i)^T)\)，只需要各客户端上传局部协方差和均值即可精确计算。特征分解得到主方向 \(\xi\) 和尺度 \(\lambda\)
- 设计动机：精确重建 vs 高斯近似——GGEUR 在 β=0.01 下比 FedFA 高 17+ 个点，说明精确几何信息远优于粗略近似
几何增强样本生成（GGEUR）:
- 功能：沿全局分布主方向生成增强样本
- 核心思路：\(X_{(k,h)}^{(i,j)} = X_k^{(i,j)} + \sum_m \epsilon_m \lambda_i^m \xi_i^m\)，在原始嵌入基础上沿全局特征向量方向加服从特征值尺度的扰动。每类增强到 2000 样本
- 设计动机：沿全局方向增强使本地数据"体验"到全局分布的多样性，等效于看到了其他客户端的数据分布特征
多域扩展:
- 功能：处理跨域联邦学习
- 核心思路：CLIP 嵌入中同一类别的跨域几何形状相似（实验验证），因此可以共享全局原型。每个原型增强到 500 个样本
- 设计动机：CLIP 的通用性使跨域几何对齐成为可能

标准交叉熵。CLIP 编码器冻结，仅训练 MLP 分类器。作为预处理步骤，与其他 FL 方法正交可组合。

方法	CIFAR-100 β=0.5	β=0.1	β=0.01
FedAvg	81.41	68.22	58.71
FedFA	81.98	74.68	-
+GGEUR	83.31	77.70	75.72