Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport¶
会议: ACL 2025 (Findings) arXiv: 2412.12569 代码: GitHub 领域: 计算语言学/语义变迁 关键词: semantic change detection, optimal transport, contextualized embeddings, sense usage shift, diachronic
一句话总结¶
将 Unbalanced OT 应用于上下文化词嵌入来量化词义变迁，提出 Sense Usage Shift (SUS) 指标在每个用法实例级别量化语义变化（义项使用频率增减），统一解决实例级变化检测、词级变化幅度量化、词义扩展/缩小判定。
研究背景与动机¶
- 领域现状：词汇语义变迁检测用通时语料嵌入估计词变化程度，但只给词级分数。
- 现有痛点：无法解释哪些具体用法变化了；距离度量不区分义项增减；词义扩展/缩小无法统一处理。
- 核心矛盾：如何在保持词级检测能力的同时提供实例级细粒度解释？
- 切入角度：UOT 允许质量创建/销毁——对应新义项出现/旧义项消亡。
- 核心 idea：SUS(x) = 该实例在 UOT 传输计划中的盈余或赤字——正值=义项增加，负值=减少。
方法详解¶
整体框架¶
输入：目标词在两个时期的上下文化嵌入集。输出：每个实例的 SUS 值 + 词级变化分数。
关键设计¶
- Unbalanced Optimal Transport
- 标准 OT 要求总质量相等；UOT 放松约束允许质量创建/销毁
- 盈余 = 新义项出现，赤字 = 旧义项消亡
-
用 KL 散度惩罚不平衡
-
Sense Usage Shift (SUS)
- SUS > 0：义项使用增加（如 record 的"音乐"义）
-
SUS < 0：义项使用减少（如 record 的"信息记录"义）
-
统一多任务
- 实例级：直接读 SUS 值
- 词级：聚合 SUS 绝对值
- 扩展/缩小：SUS 分布偏度
实验关键数据¶
词级检测 (SemEval-2020 Task 1)¶
| 方法 | 英语 ρ | 德语 | 拉丁语 | 瑞典语 |
|---|---|---|---|---|
| APD | 0.56 | 0.72 | 0.40 | 0.54 |
| UOT | 0.65 | 0.78 | 0.47 | 0.60 |
关键发现¶
- SUS 提供可解释的实例级语义变化：Figure 1 中 record 的音乐义(红)+信息义(蓝)一目了然
- UOT 在词级也优于传统方法
- 词义扩展/缩小可由 SUS 分布判定
亮点与洞察¶
- OT → 语义变迁的优雅映射：传输计划的盈余/赤字天然对应义项兴衰
- 统一框架：一个 UOT 求解同时给三层面答案
- Figure 1 可视化极直观：t-SNE + SUS 颜色编码
局限性 / 可改进方向¶
- 计算成本：UOT 对大规模嵌入集较慢
- 仅比较两个时间点：不支持连续轨迹
- 依赖嵌入质量
相关工作与启发¶
- vs APD：简单距离 vs 最优匹配
- vs GASC：需预设义项数 vs UOT 自动发现
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ UOT 用于语义变迁全新
- 实验充分度: ⭐⭐⭐⭐ 4语言benchmark+可视化
- 写作质量: ⭐⭐⭐⭐⭐ Figure 1/Table 1 极直观
- 价值: ⭐⭐⭐⭐ 为词汇语义变迁提供更强统一工具