A Single Architecture for Representing Invariance Under Any Space Group¶
会议: ICLR 2026
arXiv: 2512.13989
代码: 无
领域: 几何深度学习 / 材料科学
关键词: 空间群, 对称性不变性, 傅里叶基, 晶体结构, 零样本泛化
一句话总结¶
设计了一种可自适应任意空间群不变性的单一架构 (Crystal Fourier Transformer)，通过解析推导群操作对傅里叶系数的约束来构造对称适配的傅里叶基，用约束的对偶图表示实现了跨 230 个空间群的参数共享和零样本泛化。
研究背景与动机¶
- 领域现状：将已知对称性编码到 ML 模型中可提升精度和泛化性，但实现特定对称性的精确不变性通常需要为每个群设计定制架构。
- 现有痛点：三维空间中有 230 个空间群（晶体对称性），为每个群设计专用架构不可扩展。更严重的是数据稀缺——最大基准数据集 (Materials Project) 仅 ~20 万条数据，平均每个群不到 1000 个样本，许多群几乎无数据。
- 核心矛盾：需要精确的群不变性以尊重物理约束，但又需要跨群的参数共享来克服数据稀缺。
- 本文要解决什么？ 开发一个能根据输入空间群自动调整权重以强制相应不变性的单一架构。
- 切入角度：在傅里叶空间中分析群对称性的约束——群操作在倒格点上引入相位约束，将这些约束编码为约束图的邻接矩阵，嵌入到神经网络层中。
- 核心 idea 一句话：空间群的不变性等价于倒格点上傅里叶系数的约束关系，这些约束可表示为图结构并编码到神经网络中，实现跨群参数共享。
方法详解¶
整体框架¶
输入为晶体结构（原子位置+空间群标签），输出为材料性质预测。架构核心是对称适配傅里叶编码层：先用标准傅里叶基编码原子位置，然后乘以预计算的群依赖邻接矩阵来施加约束，再输入 Transformer 层。
关键设计¶
- 傅里叶空间中的群约束推导 (Proposition 3.1 + Theorem 3.2):
- 做什么：解析推导群操作对傅里叶系数的精确约束
- 核心思路：对 \(G\)-不变函数 \(f\) 和群操作 \(\phi(x) = Ax + t\)，其傅里叶系数满足 \(F(\omega) = e^{i2\pi\omega^\top A^\top t} F(A\omega)\)。这将倒格点分为不相交的轨道 \(\mathcal{O}\)，每个轨道对应一个基函数 \(e_\mathcal{O}(x) = \sum_{\omega \in \mathcal{O}} w_{\xi \to \omega} e^{i2\pi\omega^\top x}\)
-
设计动机：从连续函数空间的无限维问题转化为倒格点上的离散问题，使得约束可计算且精确
-
对偶图表示与算法构造 (Algorithm 1):
- 做什么：将群约束表示为倒格点上的有向加权图，用于自动构造对称适配基
- 核心思路：节点为频率 \(\omega\)，群操作 \(\phi\) 引入 \(\omega \to A\omega\) 的有向边，权重为相位因子。移除不一致自环后的连通分量即为相位一致轨道，边权乘积给出基函数系数
-
设计动机：图表示将抽象的群论约束转化为具体的图算法问题，可对任意空间群通用地执行
-
Crystal Fourier Transformer (CFT):
- 做什么：用对称适配傅里叶基作为位置编码，实现跨空间群的参数共享
- 核心思路：原子位置先在标准傅里叶基中展开，然后通过群依赖的邻接矩阵投影到不变子空间。邻接矩阵预计算，网络权重对所有空间群共享
- 设计动机：不同空间群只改变邻接矩阵（预计算），网络架构和参数不变——这使得零样本泛化成为可能
损失函数 / 训练策略¶
标准的材料性质回归/分类损失。关键是训练时可混合不同空间群的数据，模型通过邻接矩阵自动适应。
实验关键数据¶
主实验¶
| 任务 | CFT | 标准PE | CGCNN | 说明 |
|---|---|---|---|---|
| 形成能预测 | 竞争性 | 较差 | 基线 | CFT 利用精确对称性提升 |
| 带隙预测 | 竞争性 | 较差 | 基线 | 同上 |
| 零样本泛化 | ✓ 成功 | ✗ 失败 | ✗ 不适用 | 对从未见过的空间群能预测 |
消融实验¶
| 配置 | 性能 | 说明 |
|---|---|---|
| CFT (完整) | 最佳 | 对称适配傅里叶编码 |
| 标准傅里叶PE | 较差 | 无群约束 |
| 无PE | 最差 | 无位置信息 |
关键发现¶
- 对称适配傅里叶位置编码相比标准位置编码在材料性质预测上有显著提升
- 零样本泛化能力是核心亮点：模型可以对训练中从未见过的空间群做出合理预测
- 位置编码准确反映了轨道距离（同一轨道内的点距离近，不同轨道间距离远）
- 邻接矩阵的预计算成本低，可离线完成且对每个群只需计算一次
亮点与洞察¶
- 从不变基到自适应架构：核心洞察是群不变性可以通过倒格点上的线性约束表达，这些约束自然地表示为图邻接矩阵，可直接嵌入到神经网络的矩阵乘法层中
- 统一 230 个群的单一架构：不是为每个群设计专用网络，而是用一个共享网络 + 群特定的预计算投影矩阵。这种设计使得跨群的知识迁移和零样本泛化成为可能
- 理论完备性：证明了构造的基函数张成 \(L^2(\Pi)\) 中所有连续 \(G\)-不变函数，不仅是近似而是精确表示
局限性 / 可改进方向¶
- 实际仅用有限频率截断的近似基，截断频率的选择影响表达能力
- 目前仅在标量性质预测上验证，等变性质（如张量性质）的扩展需要从不变性推广到等变性
- 与图神经网络 baseline (CGCNN, ALIGNN) 的性能对比显示"竞争性"而非"大幅超越"
- 算法 1 对倒格点的遍历在高频截断下可能产生大量基函数
相关工作与启发¶
- vs Adams & Orbanz 2023: 他们证明了 \(G\)-不变傅里叶基的存在性但用数值方法求解 Laplace 特征函数；本文给出了解析构造算法
- vs CGCNN/ALIGNN: 这些图网络通过增强图结构编码周期性；本文直接在位置编码中编码空间群不变性
- vs Thomas et al. (SE(3)-Transformers): SE(3) 等变网络处理连续旋转群；本文处理离散的晶体学群，面临不同的技术挑战
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出可自适应任意空间群的单一架构，傅里叶约束的对偶图表示新颖且优雅
- 实验充分度: ⭐⭐⭐⭐ 零样本泛化实验很有说服力，但与 SOTA 的定量比较不明显领先
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导层层递进，从 1D 直觉到高维理论的叙述优秀
- 价值: ⭐⭐⭐⭐⭐ 为材料科学 ML 提供了原则性的对称性处理框架，零样本泛化能力有重大实际意义