Mapping Semantic & Syntactic Relationships with Geometric Rotation¶

会议: ICLR 2026
arXiv: 2510.09790
代码: https://github.com/fuelix/RISE-steering (有)
领域: 表示学习 / 嵌入可解释性
关键词: 嵌入几何, 超球面旋转, 跨语言泛化, 语义变换, 线性表示假说

一句话总结¶

提出RISE（Rotor-Invariant Shift Estimation）方法，利用Clifford代数的rotor将话语级语义-句法变换（否定、条件化、礼貌化）表示为单位超球面上的一致旋转操作，在7种语言×3种嵌入模型×3种变换的系统实验中证实这些旋转可跨语言和跨模型迁移（77%-95%保持率），首次将线性表示假说从词级扩展到跨语言话语级并推广到弯曲流形上的测地线结构。

研究背景与动机¶

领域现状：在word2vec时代，语义关系可以直观地用向量算术表达（"king - man + woman = queen"），语义空间具有良好的线性可解释性。线性表示假说（LRH）将这一观察形式化——认为语义概念在嵌入空间中被编码为线性结构。然而现代Transformer模型的高维表示失去了这种直观的几何对应关系，内部机制变得不透明。

现有痛点：(1) 现有可解释性方法（探针、引导向量）大多是任务特定的，缺乏系统化的几何框架来映射语义关系；(2) 引导向量在不同上下文中效果不一致，缺乏泛化性；(3) LRH主要在单语言词级别验证，跨语言和话语级别的验证几乎空白；(4) 关键的几何错配——现代嵌入实际存在于弯曲流形（超球面）上，而传统方法在欧氏空间中操作，这种错配可能是引导向量泛化差的根本原因。

核心矛盾：嵌入空间是弯曲的（球面），但操控和分析工具假设它是平坦的（欧氏）。需要一种尊重流形几何的语义变换表示方法。

本文目标：开发一个几何框架来识别话语级语义-句法变换，确定这些变换能否跨语言和跨模型架构一致地映射为几何操作。

切入角度：归一化的句子嵌入位于单位超球面上→语义变换=球面上的旋转位移→用Clifford代数的rotor来规范化和对齐不同句子的变换→学习一个通用的旋转原型（Prototype）代表特定语义变换→将其应用于新句子实现预测。

核心 idea：语义-句法变换=超球面上的一致旋转操作，用rotor规范化后可跨语言跨模型迁移。

方法详解¶

整体框架¶

RISE通过三步实现语义变换的几何表示：(1) 规范化（Canonicalization）——用rotor将每对句子嵌入对齐到参考方向；(2) 原型学习（Prototype Learning）——在规范化坐标系中对所有变换取平均得到统一的旋转原型；(3) 预测（Prediction）——将原型应用于新句子预测其变换结果。整个过程在黎曼几何框架下操作，使用对数映射（log map）和指数映射（exp map）在切空间中工作。

关键设计¶

Rotor规范化与原型学习：
- 功能：对每对中性-变换句子嵌入 \((n_i, v_i)\)，计算将 \(n_i\) 映射到参考方向 \(e_1\) 的正交变换 \(R(n_i)\)，然后将所有变换的切向量在参考坐标系中取平均得到原型 \(\vec{p}\)。
- 核心思路：在超球面上，从 \(n_i\) 到 \(v_i\) 的语义变换可以用黎曼对数映射 \(\log_{n_i}(v_i)\) 表示为 \(n_i\) 处切空间中的切向量。但不同 \(n_i\) 的切空间不同无法直接比较。Rotor \(R(n_i)\) 将所有切空间对齐到公共参考系——相当于"控制了基础语义内容的差异"，将变换本身分离出来。规范化后的切向量 \(\xi = R(n_i)\log_{n_i}(v_i)\) 可以直接平均，得到代表该语义变换的通用旋转原型。
- 设计动机：传统加法向量（Mean Difference Vector）在欧氏空间中操作，忽略了嵌入空间的弯曲结构。RISE通过黎曼几何操作（log/exp map + rotor对齐）尊重了流形的固有几何，理论上更适合球面上的语义分析。
跨语言与跨模型迁移：
- 功能：在某种语言A上学习的旋转原型，直接应用到语言B的嵌入上评估跨语言迁移；利用统计映射（Morris等的PCA+分布对齐）将text-embedding-3-large的原型迁移到bge-m3空间评估跨模型迁移。
- 核心思路：如果语义变换（如否定）在不同语言的嵌入空间中对应相同的几何操作，那么在一种语言上学到的旋转原型应该直接适用于另一种语言。这测试了"语义变换是否有跨语言的几何普遍性"这一核心假设。
- 设计动机：这是对LRH最强的测试——如果否定变换在英语和日语（完全不同语系）的嵌入空间中都对应类似的旋转，说明这种几何结构反映的是语义本身的特性而非特定语言的语法机制。
交换律验证与理论支撑：
- 功能：证明连续应用多个RISE变换（如先否定再条件化 vs 先条件化再否定）的结果在一阶近似下交换。
- 核心思路：定理A.1证明在小角度近似下，多个RISE操作的差异为 \(O(\|\vec{p}_A\| \cdot \|\vec{p}_B\|)\)——即二阶小量。这意味着语义变换在切空间中行为类似向量加法，为LRH在弯曲空间的推广提供了理论支撑。
- 设计动机：如果RISE变换满足交换律，说明语义变换是可组合的——"否定的条件句" ≈ "条件化的否定句"——这与LRH预测的线性代数结构一致，但推广到了测地线框架。

实验设计¶

3种语义变换：否定（"P"→"not-P"，精确的逻辑操作）、条件化（"P"→"if P"，引入模态语义）、礼貌化（增加社交正式度，高度上下文/文化依赖）
7种语言：英语、西班牙语、日语、泰米尔语、泰语、阿拉伯语、祖鲁语（5个语系，覆盖分析型/粘着型/屈折型形态）
3种嵌入模型：text-embedding-3-large（3072维）、bge-m3（1024维）、mBERT（768维）
2种基线：Mean Difference Vectors（MDV，球面均值差向量）、Procrustes对齐（全局旋转拟合）
3个评测数据集：合成多语言数据集（GPT-4.5生成，每语言×变换1000对）、BLiMP（英语句法基准）、SICK（英语语义相似度）

实验关键数据¶

主实验（跨语言迁移，rotor alignment score = 余弦相似度）¶

变换	平均得分	性能区间	性能波动	特点
否定	0.788	0.686-0.918	中等	跨语言最强
条件化	0.780	更稳定	最低(0.038)	一致性最高
礼貌化	0.762	更大变化	最高(0.060)	文化依赖性明显

跨模型迁移（text-embedding-3-large → bge-m3）¶

语言	迁移性能	说明
英语	0.80-0.82	最佳，可能反映训练数据偏差
其他语言	0.70-0.75	较好，但有约20%性能差距
祖鲁语	0.63-0.66	最低，低资源语言挑战

基线对比¶

方法	单语句法(BLiMP)	单语语义(SICK)	跨语言迁移
RISE	Strong(0.97)	Strong(0.84)	Moderate-Strong(0.74-0.89)
MDV	Strong(0.97)	Strong(0.83)	Moderate-Strong(0.72-0.91)
Procrustes	Strong(0.99)	Moderate(0.67)	Failing-Weak(0.25-0.62)

关键发现¶

否定在所有语言中旋转最一致——暗示否定可能是语义空间的"基础操作"，独立于具体的语法实现方式（粒子/词缀/助动词）
条件化一致性最高（波动最低0.038）——模态语义的编码方式跨语言高度稳定
礼貌化变化最大——文化和社会因素使其跨语言结构最不稳定，符合预期
Procrustes在跨语言场景下严重失败——全局刚性旋转太粗糙，证实了流形方法的必要性
嵌入维度不直接决定跨语言性能——1024维的bge-m3在跨语言一致性上甚至优于3072维的text-embedding-3-large，训练方法和架构选择更重要
下游否定分类任务：RISE准确率93.0%，MDV 87.2%——RISE的几何表示确实捕获了更有用的语义信息

亮点与洞察¶

"旋转而非平移"是核心哲学转变——在球面上平移（加法向量）不是自然操作，旋转才是。RISE尊重了嵌入空间的固有几何，这可能解释了为什么传统引导向量在不同上下文中效果不一致
否定的跨语言几何一致性暗示它可能是"语义基元"——不论英语用"not"、日语用"ない"、泰米尔语用动词内部否定，在嵌入空间中都对应类似的旋转方向
LRH的球面推广——传统的"线性方向=语义"在弯曲空间中对应"测地线弧=语义"，RISE将LRH从欧氏空间推广到黎曼流形，是理论层面的重要贡献
交换律为语义组合提供了代数基础——多个RISE变换近似交换意味着语义变换具有类似向量空间的代数性质，这是可解释性的重要理论保证

局限与展望¶

仅考察了三种语义变换——需要扩展到更多语义和语用现象（如时态、因果、蕴涵等）来测试框架的普遍适用性
合成数据由GPT-4.5生成——可能引入英语中心偏差，需要母语者验证和自然语料验证
跨模型迁移存在明显的英语优势（比祖鲁语高20%）——反映了当前多语言模型的训练数据不均衡
RISE在语义相似度任务(SICK)上表现中等(0.62-0.74)——旋转原型可能更好地捕获了语法/句法结构而非深层语义相似性
计算复杂度虽然是O(d)但实际实现中仍需测试在超大规模嵌入(>3072维)上的效率
MDV在部分场景下性能接近RISE——需要更多任务来区分两种方法的优劣边界

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将语义变换建模为超球面旋转+跨语言验证+LRH球面推广
实验充分度: ⭐⭐⭐⭐⭐ 7语言×3模型×3变换×3数据集×2基线的全矩阵评估
写作质量: ⭐⭐⭐⭐⭐ 理论动机→方法设计→大规模实验→数学证明的完整叙事
价值: ⭐⭐⭐⭐ 对嵌入可解释性和多语言理解有基础贡献