CENTAUR: Bridging the Impossible Trinity of Privacy, Efficiency, and Performance in Privacy-Preserving Transformer Inference¶

会议: ACL 2025
arXiv: 2412.10652
代码: 无
领域: AI安全
关键词: privacy-preserving inference, SMPC, permutation matrix, Transformer, impossible trinity

一句话总结¶

提出 Centaur 框架，融合随机置换矩阵和安全多方计算（SMPC）来打破隐私保护 Transformer 推理（PPTI）中的"不可能三角"——同时实现强隐私保护、5-30x 加速和明文级别推理精度。

研究背景与动机¶

领域现状：Transformer 模型广泛部署在云端（聊天机器人、代码助手等），带来模型参数和推理数据的隐私风险。三星曾因内部代码泄露禁止员工使用外部 LLM 服务。
现有痛点：PPTI 面临"不可能三角"——(1) SMPC 方法隐私强但通信开销巨大（如 BERT 推理需 881 秒传输 66GB）；替换非线性操作可提效但损失精度。(2) 置换矩阵方法效率和精度接近明文但暴露模型参数，中间结果可被数据重建攻击恢复原始推理输入。
核心矛盾：SMPC 保隐私但慢，置换保效率但泄露——两者互补但如何结合是挑战。
本文要解决什么？ 设计一个同时满足隐私、效率和性能的 PPTI 框架。
切入角度：对 Transformer 的线性层和非线性层分别采用最适合的保护策略——线性层用置换将密文乘密文转为明文乘密文（免通信），非线性层用 SMPC 在置换态下进行精确计算。
核心 idea 一句话：线性层用置换矩阵免通信加速 + 非线性层用 SMPC 在置换态下精确计算 + 三方协议确保隐私，破解不可能三角。

方法详解¶

整体框架¶

三方参与：\(\mathcal{P}_0\)（模型开发者持有模型参数）、\(\mathcal{P}_1\)（云平台执行计算）、\(\mathcal{P}_2\)（客户端持有推理数据）。初始化阶段：\(\mathcal{P}_0\) 生成置换矩阵 \(\Pi = \{\pi, \pi_1, \pi_2\}\)，置换模型参数发送给 \(\mathcal{P}_1\)。推理阶段：\(\mathcal{P}_2\) 秘密共享推理数据给 \(\mathcal{P}_0\) 和 \(\mathcal{P}_1\)，双方联合执行 PPTI。

关键设计¶

线性层加速:
做什么：将密文间矩阵乘法 \(\Pi_{\text{MatMul}}\) 转为明文-密文乘法 \(\Pi_{\text{ScalMul}}\)（无需通信）。
核心思路：模型参数 \(W\) 用置换矩阵 \(\pi\) 置换为 \(W\pi\)（明文），推理数据保持秘密共享 \([[X_E\pi]]\)。因为 \(X_E\pi \cdot (W\pi)^\top = X_E W^\top\)（置换正交性保证结果正确），而 \(\Pi_{\text{ScalMul}}\) 不需要通信。
设计动机：线性层占 PPTI 通信开销的绝大部分，消除这部分通信带来巨大加速。
非线性层处理:
做什么：将秘密共享态 \([[X\pi]]\) 转为置换态 \(X\pi\)，在明文上执行元素级非线性操作（Softmax、GeLU、LayerNorm）。
核心思路：\(\mathcal{P}_0\) 将共享 \([X\pi]_0\) 发送给 \(\mathcal{P}_1\)，后者重建 \(X\pi\) 后在置换态计算 \(f_e(X\pi) = f_e(X)\pi\)（元素级操作与置换可交换），再重新秘密共享。仅需 2 轮通信。
设计动机：SMPC 计算精确的非线性操作成本极高；在置换态下明文计算既精确又高效，置换保护了隐私。
隐私-置换-秘密共享协议 (PPP):
做什么：解决注意力机制中置换取消的问题——\(Q \cdot K^\top\) 的结果 \(O_1\) 不带置换，需要重新置换。
核心思路：通过隐私保护矩阵乘法 \(\Pi_{\text{MatMul}}\) 将 \([[X]]\) 转为 \([[X\pi]]\)。仅在注意力的 2 次矩阵乘法中使用，其他全用免通信的 \(\Pi_{\text{ScalMul}}\)。

损失函数 / 训练策略¶

Centaur 不需要训练、微调或模型修改，直接替换推理流程。

实验关键数据¶

主实验¶

方法	隐私	速度 (相对 CrypTen)	精度
CrypTen (纯 SMPC)	✓ 强	1x	✓ 明文级
MPCFORMER (替换非线性)	✓ 强	~3x	✗ 下降
PUMA (优化 SMPC)	✓ 强	~2x	✓ 明文级
Yuan23 (纯置换)	✗ 有泄露	~30x	✓ 明文级
Centaur	✓ 强	5-30x	✓ 明文级

消融实验（数据重建攻击防御）¶

攻击方法	无 Centaur (重建率)	有 Centaur (重建率)	说明
SIP 攻击	84-88%	3.9-5.4%	几乎完全防御
EIA 攻击	59-91%	2.6-6.4%	几乎完全防御
随机猜测	3.9-5.2%	3.9-5.2%	Centaur 与随机猜测相当

关键发现¶

真正打破不可能三角：Centaur 是第一个同时实现强隐私+高效率+明文精度的 PPTI 框架。
线性层完全免通信：通过置换将所有线性层通信开销归零，只在注意力的 2 次矩阵乘和非线性操作转换时需要通信。
抗数据重建攻击：在两种主流攻击下，Centaur 将重建成功率从 60-91% 降至 3-6%，接近随机猜测水平。
置换矩阵安全性：\(d=1280\) 时暴力恢复概率约 \(1/2^{11372}\)。

亮点与洞察¶

"互补策略"的设计哲学：线性层和非线性层各用最适合的保护方式，而不是用单一方法强行覆盖所有操作。这种"因地制宜"的思路可推广到其他隐私保护计算场景。
明文级精度是关键竞争力：不替换非线性操作、不修改模型，直接用于已训练的模型，无需重新训练或微调。
置换态非线性计算的安全性论证：虽然将秘密共享恢复为明文置换态有理论泄露风险，但实验证明置换提供了足够的保护（攻击成功率降至随机水平）。

局限性 / 可改进方向¶

三方协议需要不勾结假设（\(\mathcal{P}_0\) 和 \(\mathcal{P}_1\) 不勾结），现实中可能受限。
注意力机制中仍需 2 次 SMPC 矩阵乘法，是效率瓶颈。
仅在 BERT 和 GPT-2 上测试，对 LLaMA-70B 等大模型的可扩展性未验证。
生成式推理（多步自回归）场景的效率和安全性未讨论。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次融合置换+SMPC 打破不可能三角，设计精巧
实验充分度: ⭐⭐⭐⭐ 隐私/效率/精度全面评估 + 攻击实验
写作质量: ⭐⭐⭐⭐ 框架清晰，不可能三角的论述有说服力
价值: ⭐⭐⭐⭐⭐ 实用性强，对安全 AI 部署有重要推动