跳转至

Practical Principles for AI Cost and Compute Accounting

会议: ICML 2025
arXiv: 2502.15873
代码: 无
领域: AI治理 / 政策
关键词: 计算审计, AI监管, 计算阈值, 蒸馏漏洞, 成本核算

一句话总结

针对 AI 监管中计算量/成本阈值的核算标准模糊问题,提出七项原则来封堵蒸馏漏洞等规避手段、避免抑制安全措施、并实现跨企业一致实施,为 EU AI Act 等法规的落地提供理论框架。

研究背景与动机

现有痛点

现有痛点领域现状AI监管的阈值困境:EU AI Act 以计算量阈值(如 \(10^{25}\) FLOP)界定高风险 AI 系统,加州 SB 53、纽约 A6453A 等法案也采用类似策略。计算量/成本阈值的优势在于:与能力风险相关、可量化、可在开发早期测量、可由外部核查。

核心问题:当前缺乏统一的核算标准——"计算什么、怎么计算"存在严重歧义。当开发者有动机让模型显得"便宜"时,狭义核算标准会被创造性利用。最典型的漏洞是蒸馏漏洞:DeepSeek-V3 报价 600 万美元但未计入 DeepSeek-R1 的训练成本,窄口径核算掩盖了真实开发投入。

现有指南不足:Frontier Model Forum (2024) 和欧盟委员会 (2025) 各有指导意见,但两者都存在可被利用的排除条款——前者允许排除"丢弃的分支"和蒸馏教师模型的成本,为规避阈值留下空间。本文引用 Jón Danielsson 的格言:"任何用于政策的统计关系都会崩溃",强调核算标准必须防博弈。

方法详解

整体框架

本文提出的框架围绕三个目标设计:(1) 减少战略性博弈的空间;(2) 避免抑制负责任的风险缓解实践;(3) 实现跨企业跨司法管辖区的一致实施。框架由七项原则组成,每项原则针对一个具体的核算歧义。

关键设计

  1. 原则1: 计入项目全部上游成本和计算量:

    • 功能:要求开发者报告最终 AI 系统上游的所有技术成本和计算量
    • 核心思路:包括数据整理/压缩、教师模型训练(蒸馏)、dropout/稀疏操作中的零运算等。关键是封堵蒸馏漏洞——如果学生模型依赖教师模型的知识,教师的训练计算必须计入
    • 设计动机:仅计"理论必需"或"直接相关"的计算会被利用,窄口径核算是漏洞的根源
  2. 原则3+6: 排除纯安全活动 + 使用独立双阈值:

    • 功能:允许开发者豁免仅用于降低社会风险的活动(CSAM 过滤、安全测试等);同时要求成本和计算量各有独立阈值
    • 核心思路:安全活动豁免需提供可审计的证明(证明不增强能力),防止"洗安全";双阈值互为 failsafe——机器生成数据便宜但计算密集,人类生成数据贵但无计算,调整比例可规避单一阈值
    • 设计动机:单一阈值可通过调整数据来源(人工vs机器)规避;安全豁免不设则会抑制负责任开发
  3. 原则5+7: 分项核算报告 + 定期更新标准:

    • 功能:要求开发者提交可审计的分项报告(每项活动的描述、目的、估算方法、最终计算量);标准需季度或半年度更新
    • 核心思路:类比金融会计中的 SEC 报告要求,报告既有直接监督效果也有间接激励尽职调查的效用;AI 技术快速演进使任何静态框架迅速过时
    • 设计动机:透明度和问责制是有效监管的基础;效率增益和新技术范式要求标准持续适应

损失函数 / 训练策略

本文为政策分析论文,不涉及模型训练。核心贡献是原则性框架设计,而非技术实现。

实验关键数据

主实验(与现有指南的原则对比)

维度 本文 Frontier Model Forum (2024) 欧盟委员会 (2025)
计入全部上游计算 ✗ (排除丢弃分支) 部分
蒸馏教师模型计入 ✗ (蒸馏漏洞)
公开资源排除
安全活动排除
合理估计
分项核算报告
独立双阈值(成本+计算)
定期更新标准

消融实验(漏洞风险分析)

漏洞类型 可利用的排除条款 本文原则的应对
蒸馏漏洞 不计教师模型训练 原则1: 全部上游计入
公开释放漏洞 先开源再使用来"清零" 原则2: 6个月内开发者自行公开的资源仍计入
博弈单一阈值 调整人工/机器数据比例 原则6: 成本+计算量独立双阈值
"洗安全" 将增强能力的活动伪装安全 原则3: 需可审计证明不增强能力

关键发现

  • Frontier Model Forum 的推荐因排除蒸馏教师模型而存在最大漏洞风险
  • DeepSeek-V3 案例($6M 报价但未计 R1 训练)是蒸馏漏洞的典型实证
  • 成本和计算量可通过调整数据来源比例被有意解耦,因此双阈值互为 failsafe
  • 分项报告不仅提供监管信息,更有间接激励效应——企业知道需提交详细报告时会更谨慎

亮点与洞察

  • 蒸馏漏洞的清晰识别和系统性封堵:以 DeepSeek-V3 为例,指出窄口径核算如何掩盖真实成本,是全文最有力的论证
  • 双阈值互为 failsafe 的设计:认识到成本和计算量可被有意解耦(机器生成数据 vs 人类标注数据),用双重触发机制防范
  • 安全活动豁免与防"洗安全"平衡:既不抑制负责任开发,又要求可审计证明,设计精巧
  • 引用 Danielsson 格言:"任何用于政策的统计关系都会崩溃"——深刻警示监管依赖单一代理指标的风险
  • 类比金融会计的 SEC 报告、"公允价值"概念等,使框架具有跨领域可理解性

局限与展望

  • 不涉及具体阈值数值设定(如 FLOP 门槛应设多高)
  • 灰色地带处理不够明确——如基础研究投入是否计入模型开发缺乏清晰规则
  • 多法人协作(联邦学习、众包)的核算归属问题仅简要讨论
  • 核算执行和审计本身的成本可能显著,对中小型开发者造成不成比例的负担
  • 快速演进的 AI 技术(如推理时计算 scaling)可能挑战现有框架的适用性
  • 信息安全风险——敏感开发信息共享给监管者可能带来竞争泄露

相关工作与启发

  • EU AI Act Article 51:以 \(10^{25}\) FLOP 界定高影响通用 AI 模型
  • Frontier Model Forum (2024):业界联盟的计算量核算发布,排除蒸馏教师模型
  • European Commission (2025):EU AI Act 配套指南草案,支持计入数据整理和蒸馏
  • Heim & Koessler (2024):讨论训练计算阈值作为监管工具的特性与功能
  • Hooker (2024):指出计算阈值作为治理策略的局限性
  • Kaplan et al. (2020):scaling laws 为计算量-能力关系提供科学基础
  • 启发:AI 治理需要类似金融监管的技术性基础设施(标准、报告机制、审计流程)

评分

  • 新颖性: ⭐⭐⭐⭐ 首次系统性提出 AI 计算核算原则,蒸馏漏洞的识别和分析有深度
  • 实验充分度: ⭐⭐⭐ 政策分析论文无传统实验,但与现有指南的对比分析和漏洞案例充分
  • 写作质量: ⭐⭐⭐⭐⭐ 论证逻辑清晰,原则组织有条理,引用恰当
  • 价值: ⭐⭐⭐⭐ 填补 AI 治理中计算审计的理论空白,七项原则具有直接政策影响力

相关论文