Angular Constraint Embedding via SpherePair Loss for Constrained Clustering¶

会议: NeurIPS 2025
arXiv: 2510.06907
代码: 已开源
领域: 聚类/表示学习
关键词: constrained clustering, angular embedding, pairwise constraints, cosine similarity, SpherePair loss

一句话总结¶

提出 SpherePair loss，在角度空间（而非欧氏空间）中学习约束聚类的表示，通过余弦相似度编码 pairwise 约束，避免了端到端 DCC 方法对 anchor 的依赖和欧氏嵌入中正负对距离平衡的困难，无需预知聚类数目即可实现 SOTA 的约束聚类性能。

研究背景与动机¶

领域现状：无监督聚类是病态问题——数据分区可能不符合领域知识。约束聚类通过引入 pairwise 约束（must-link / cannot-link）来整合领域知识。深度约束聚类（DCC）是当前主流。
现有痛点：(1) 端到端 DCC 方法（如伪分类）需要引入 anchor 来表示类别，但缺乏全局监督导致 anchor 与聚类中心不对齐；(2) 这些方法需要预知聚类数目；(3) 深度约束嵌入方法在欧氏空间中难以维持正负对之间合适的距离。
核心矛盾：欧氏空间中，需要同时拉近正对和推远负对，但两者的距离尺度难以平衡——太紧的正对约束会导致表示塌缩，太松的负对约束则聚类效果差。
本文要解决什么？ 寻找一种更自然的嵌入空间，使得 pairwise 约束可以被忠实编码而不产生冲突。
切入角度：角度空间（球面）上的余弦相似度天然具有归一化性质，正对/负对的约束可以用角度关系更优美地表达。
核心 idea 一句话：用余弦相似度在角度空间中学习约束嵌入，SpherePair loss 的几何公式化忠实编码 pairwise 关系，将表示学习与聚类解耦。

方法详解¶

整体框架¶

输入数据 -> 深度网络编码 -> L2 归一化到单位球面 -> SpherePair loss 学习角度嵌入 -> 对嵌入做 K-means 聚类。表示学习和聚类完全解耦。

关键设计¶

SpherePair Loss:
做什么：在角度空间中编码 must-link 和 cannot-link 约束。
核心思路：使用余弦相似度约束——must-link 对的余弦相似度应高（角度小），cannot-link 对应低（角度大）。几何公式化保证了约束之间不产生冲突。
设计动机：余弦相似度自然归一化到 [-1, 1]，消除了欧氏空间中距离尺度不一致的问题。
无需预知聚类数目:
做什么：从嵌入中快速推断聚类数。
核心思路：由于角度嵌入中正约束对天然聚集、负约束对天然分离，可以通过嵌入的结构快速推断聚类数。
设计动机：真实场景中聚类数通常未知，消除这个先验是实用性的关键。
理论保证:
做什么：证明在一定条件下 SpherePair loss 的最优性。
核心思路：理论证明在约束充分时，SpherePair 学到的嵌入可以正确分离所有聚类。
设计动机：为方法提供理论根基，超越纯经验性工作。

损失函数 / 训练策略¶

SpherePair loss 由 must-link 和 cannot-link 两部分组成。无需端到端聚类目标——训练完成后直接对嵌入做 K-means。

实验关键数据¶

主实验¶

方法	MNIST	CIFAR-10	STL-10	说明
端到端 DCC (SOTA)	高但需要预知K	中等	低	需要 anchor
深度欧氏嵌入	中等	中等	中等	距离平衡困难
SpherePair	最优	最优	最优	无需预知K

消融实验¶

配置	说明
欧氏空间 vs 角度空间	角度空间显著更好
约束数量敏感性	SpherePair 对少量约束也鲁棒
聚类数推断	可快速准确推断

关键发现¶

角度空间显著优于欧氏空间：简单 K-means 在 SpherePair 嵌入上即超越端到端 DCC。
泛化到未见数据：约束嵌入可以迁移到训练时未见的样本。
无需预知聚类数：消除了实际应用中的关键障碍。

亮点与洞察¶

角度空间做约束嵌入的思路优美：余弦相似度的归一化性质天然解决了欧氏空间的距离平衡问题。
将表示学习与聚类解耦是正确的设计哲学：端到端方法看似更优雅但实际上引入了 anchor 对齐等副作用。

局限性 / 可改进方向¶

聚类算法仍是 K-means——可以探索更强的球面聚类方法。
对于非球状聚类结构可能效果有限。

评分¶

新颖性: ⭐⭐⭐⭐ 角度空间约束嵌入的新视角
实验充分度: ⭐⭐⭐⭐ 多数据集+理论验证
写作质量: ⭐⭐⭐⭐ 清晰，理论和实验结合好
价值: ⭐⭐⭐⭐ 实用的约束聚类方案