Adaptive Feature-based Low Rank Plus Sparse Decomposition for Subspace Clustering¶

会议: ACL 2025
领域: 其他（机器学习/表示学习）
关键词: 子空间聚类、低秩分解、稀疏分解、自适应特征、矩阵分解

一句话总结¶

本文提出一种自适应特征驱动的低秩加稀疏矩阵分解方法，通过在特征空间中自适应学习低秩和稀疏成分的权重，解决子空间聚类中噪声鲁棒性和特征判别力不足的问题。

研究背景与动机¶

领域现状：子空间聚类是无监督学习中的经典问题，核心假设是高维数据分布在若干低维子空间的并集上。主流方法包括稀疏子空间聚类（SSC）和低秩表示（LRR），它们通过构建数据的自表示矩阵并应用谱聚类来发现子空间结构。

现有痛点：传统的低秩加稀疏分解方法（如RPCA）对所有特征施加相同的正则化强度，忽略了不同特征维度对聚类的贡献差异。某些特征可能包含大量噪声而对聚类有害，另一些特征则携带关键的判别信息。一刀切的正则化策略无法区分这两种情况。

核心矛盾：低秩约束追求全局结构一致性，稀疏约束处理局部异常值，但两者在不同特征维度上的最优平衡点是不同的。全局统一的平衡策略导致在某些特征上过度平滑、在另一些特征上又欠约束。

本文目标：设计一种能够自适应学习每个特征维度上低秩和稀疏分解最优平衡的方法，提升子空间聚类在含噪数据上的鲁棒性。

切入角度：从特征选择的角度出发，将低秩加稀疏分解中的正则化参数从标量推广为向量，让每个特征维度拥有独立的正则化权重。

核心 idea：用自适应的特征权重向量替代固定的正则化参数，在优化过程中同时学习分解结果和特征重要性。

方法详解¶

整体框架¶

给定数据矩阵 \(X \in \mathbb{R}^{d \times n}\)，将其分解为低秩成分 \(L\) 和稀疏成分 \(S\)：\(X = L + S\)。关键创新在于引入特征权重向量 \(\mathbf{w} \in \mathbb{R}^d\)，分别对低秩和稀疏成分在不同特征维度上施加不同强度的约束。分解完成后，利用低秩成分 \(L\) 构建亲和矩阵进行谱聚类。

关键设计¶

自适应特征加权的分解模型（Adaptive Feature-Weighted Decomposition）:
- 功能：在低秩加稀疏分解中实现逐特征维度的自适应正则化
- 核心思路：将优化问题形式化为 \(\min_{L,S,\mathbf{w}} \|W_L \odot L\|_* + \lambda\|W_S \odot S\|_1 + \gamma R(\mathbf{w})\)，其中 \(W_L, W_S\) 是由特征权重 \(\mathbf{w}\) 导出的权重矩阵，\(R(\mathbf{w})\) 是关于权重的正则项（如熵正则化防止退化）。通过交替优化同时学习 \(L\)、\(S\) 和 \(\mathbf{w}\)
- 设计动机：让高噪声特征维度的稀疏成分权重更大（鼓励将噪声归入稀疏项），而信息丰富的特征维度低秩成分权重更大（保留结构信息）
交替方向乘子法求解（ADMM Solver）:
- 功能：高效求解含自适应权重的非凸优化问题
- 核心思路：将原问题分解为三个子问题——固定权重更新 \(L\) 和 \(S\)（加权核范数和加权 \(\ell_1\) 最小化），固定 \(L\) 和 \(S\) 更新权重 \(\mathbf{w}\)（闭式解）。ADMM保证了收敛性和计算效率
- 设计动机：直接优化联合目标函数是NP-hard的，ADMM的分解策略使得每个子问题都有高效解
基于低秩成分的亲和矩阵构建（Affinity Construction）:
- 功能：从学到的低秩表示构建用于谱聚类的亲和图
- 核心思路：利用自表示系数矩阵 \(C\)（使得 \(L = LC\)）构建亲和矩阵 \(A = |C| + |C^T|\)，然后执行标准化谱聚类。由于低秩成分已经通过自适应权重去除了噪声，亲和矩阵的质量更高
- 设计动机：传统方法直接在原始数据上构建亲和矩阵容易受噪声干扰

损失函数 / 训练策略¶

总体目标函数包含加权核范数最小化（鼓励低秩）、加权 \(\ell_1\) 范数最小化（鼓励稀疏）、以及权重向量的熵正则化（防止权重坍缩为全零或全一）。采用ADMM求解，收敛条件为相邻迭代的相对变化量小于预设阈值。

实验关键数据¶

主实验¶

数据集	指标(ACC)	本文	LRR	SSC	RPCA+SC	提升
Yale-B	ACC(%)	89.7	83.2	85.6	84.1	+4.1
ORL	ACC(%)	82.4	76.8	78.3	77.5	+4.1
COIL-20	ACC(%)	86.3	80.1	82.7	81.4	+3.6
Reuters	ACC(%)	74.8	68.5	70.2	69.1	+4.6

消融实验¶

配置	Yale-B(ACC)	NMI	说明
Full model	89.7	0.912	完整自适应权重
固定等权	84.1	0.867	退化为标准RPCA
仅低秩权重自适应	87.3	0.891	稀疏部分使用固定权重
仅稀疏权重自适应	86.8	0.885	低秩部分使用固定权重
无熵正则	85.9	0.876	权重坍缩导致退化

关键发现¶

同时对低秩和稀疏成分进行自适应加权的完整模型显著优于任何单侧自适应，说明两个方向的自适应性是互补的
熵正则化对于防止权重退化至关重要，去掉后准确率下降约4个点
在高噪声条件下（如添加20%椒盐噪声），本文方法相对于基线的优势进一步扩大，说明自适应特征权重在噪声鲁棒性方面尤为有效

亮点与洞察¶

将特征选择的思想融入矩阵分解框架，用一种优雅的方式实现了"软特征选择"，不丢弃任何特征但自动降低噪声特征的影响。这种思路可以迁移到任何需要矩阵分解的场景
ADMM求解框架使得加入自适应权重后计算复杂度增加很少，实用性强

局限与展望¶

方法在特征维度远大于样本数时计算开销较大，可扩展性受限，对于百万维度的文本特征可能需要先降维
收敛速度受初始化影响，虽然ADMM保证收敛但可能需要较多迭代
对子空间个数的先验假设仍然需要手动设定，未来可以与自动确定聚类数的方法结合
权重的初始化可能影响最终结果，虽然实验中显示鲁棒性尚可，但理论上缺乏全局最优性保证
本文关注图像和文本数据，在更多模态（如时间序列、图数据）上的泛化性值得探索
未来可以将自适应权重机制与深度学习特征提取结合，实现端到端的自适应子空间聚类

评分¶

新颖性: ⭐⭐⭐ 自适应加权的思路在矩阵补全领域已有先例，但在子空间聚类中的应用有一定新意
实验充分度: ⭐⭐⭐⭐ 多个数据集和详细消融
写作质量: ⭐⭐⭐⭐ 数学表述清晰
价值: ⭐⭐⭐ 方法扎实但影响面可能局限于子空间聚类社区