Association and Consolidation: Evolutionary Memory-Enhanced Incremental Multi-View Clustering¶

会议: CVPR2026 arXiv: 2509.14544 代码: 待确认领域: others (Multi-View Clustering / Incremental Learning) 关键词: incremental multi-view clustering, stability-plasticity dilemma, memory consolidation, orthogonal association, tensor decomposition, ADMM

一句话总结¶

提出 EMIMC 框架，受大脑海马-前额叶协作记忆机制启发，通过 Rapid Associative Module (正交映射保证可塑性)、Cognitive Forgetting Module (幂律衰减模拟遗忘曲线) 和 Knowledge Consolidation Module (时序张量低秩分解提炼长期记忆) 三模块协同，解决增量多视图聚类中的稳定性-可塑性困境。

研究背景与动机¶

多视图聚类的实际需求：现实场景中数据来自不同模态（视觉、文本、传感器等），多视图聚类 (MVC) 需利用多视图间的互补信息实现更准确的聚类。然而传统 MVC 假设所有视图同时可用，不适用于视图增量到达的动态场景
增量多视图聚类 (IMVC) 的天然矛盾：新视图到达时需同时 (a) 吸收新知识（可塑性）和 (b) 保留已有知识（稳定性），这就是经典的 Stability-Plasticity Dilemma (SPD)
现有 IMVC 方法的局限：
CMVC、CAC、LAIMVC 等方法缺乏对历史知识的有效保留机制，随着视图增量到达，早期视图的信息逐步丢失
简单拼接或平均融合策略无法区分不同时间步视图的重要性差异
缺乏对短期记忆 → 长期记忆转化的显式建模
神经科学的启发：人类大脑通过海马体快速编码新经验（联想关联），前额叶皮层负责将短期记忆整合为稳定的长期记忆（知识巩固），中间伴随遗忘曲线的自然衰减。这一生物机制高度契合 IMVC 的需求

核心问题¶

如何在增量多视图聚类场景中，既保持对新视图信息的快速吸收能力（可塑性），又防止对早期视图知识的灾难性遗忘（稳定性），同时以合理的计算代价实现两者平衡？

方法详解¶

整体框架¶

EMIMC 由三个核心模块组成，模拟大脑记忆的"编码-遗忘-巩固"过程：

Rapid Associative Module (RAM) — 类比海马体，负责快速关联新旧表示
Cognitive Forgetting Module (CFM) — 模拟遗忘曲线，时间加权融合历史记忆
Knowledge Consolidation Module (KCM) — 类比前额叶，提炼短期记忆为长期记忆

Rapid Associative Module (RAM)¶

目标：在新视图 $v_t$ 到达时，建立当前共识表示 $Z_t$ 与上一步表示 $Z_{t-1}$ 之间的结构化对应关系
正交映射：引入正交矩阵 $P_t \in \mathbb{R}^{m \times m}$（$P_t^T P_t = I$），将 $Z_{t-1}$ 对齐到 $Z_t$ 的空间
联想损失：$\mathcal{L}_{\text{associate}} = \|Z_t - Z_{t-1} P_t\|_F^2$
闭式解：正交约束下的最优 $P_t$ 通过 Procrustes 问题求解——对 $Z_{t-1}^T Z_t$ 做 SVD 分解 $= U\Sigma V^T$，则 $P_t = UV^T$
直觉：正交约束保证映射不改变表示的内在结构（不压缩/拉伸），仅做刚性旋转/反射，从而在关联新旧知识的同时保留各自的语义完整性

Cognitive Forgetting Module (CFM)¶

生物动机：Ebbinghaus 遗忘曲线表明，记忆随时间以幂律衰减，越近的记忆越清晰
幂律权重：对第 $i$ 步视图（$i < t$），其在时间步 $t$ 的权重为： $$w_i^{(t)} = \frac{(t - i)^{-\lambda}}{\sum_{j=1}^{t-1}(t - j)^{-\lambda}}$$ 其中 $\lambda > 0$ 控制遗忘速率——$\lambda$ 越大，远期视图衰减越快
历史记忆：$Z_{\text{hist}} = \sum_{i=1}^{t-1} w_i^{(t)} Z_i$
关键优势：
无需存储全部历史表示矩阵，只需维护加权和 $Z_{\text{hist}}$（常数空间）
权重归一化保证数值稳定性
$\lambda$ 提供了可调的稳定性-可塑性旋钮

Knowledge Consolidation Module (KCM)¶

构造时序张量：将历史记忆 $Z_{\text{hist}}$ 和当前表示 $Z_t$ 按时间维堆叠，构成 3 阶张量 $\mathcal{Z} \in \mathbb{R}^{n \times m \times 2}$
ARMR 低秩约束：对 $\mathcal{Z}$ 施加 Augmented Multi-Rank Minimization with Relaxation，约束其在各模式展开的秩，从而提炼出短期记忆与历史记忆之间的共享低秩结构
巩固损失：$\mathcal{L}_{\text{consolidate}}$ 约束张量逼近并施加低秩正则
直觉：低秩分解迫使模型只保留跨时间一致的核心模式，自然地将噪声和不稳定的短期波动过滤掉，相当于"提炼"出长期记忆

总体优化¶

总目标函数：$\mathcal{L} = \mathcal{L}_{\text{recon}} + \alpha \cdot \mathcal{L}_{\text{associate}} + \beta \cdot \mathcal{L}_{\text{consolidate}}$
$\mathcal{L}_{\text{recon}}$：各视图的低秩重建损失
$\alpha, \beta$：平衡可塑性和稳定性的超参数
ADMM 求解：引入辅助变量将问题拆解为多个子问题，交替优化：
$Z_t$ 更新：固定其他变量，求解二次问题
$P_t$ 更新：Procrustes 闭式解
张量低秩逼近：基于矩阵核范数的近端算子
计算效率：所有正交约束均有闭式解（Procrustes），不需要迭代投影；ADMM 通常在 20-30 次迭代内收敛

实验¶

数据集与设置¶

数据集：多个经典多视图数据集，包括 MSRC-v1、UCI-Digits、BBCSport、NUS-WIDE-Object 等
增量协议：视图按顺序逐一到达，每步仅处理当前视图 + 历史记忆，不回看原始数据
评价指标：ACC (聚类准确率)、NMI (归一化互信息)、Purity

主实验结果¶

EMIMC 在所有数据集上均优于现有 IMVC 方法（CMVC、CAC、LAIMVC、EIMC 等），ACC/NMI 平均提升 3-8 个百分点
随着视图数增加，EMIMC 的性能稳步提升，而 baseline 方法出现知识遗忘导致的性能波动
在 NUS-WIDE-Object 等大规模数据上优势更显著，表明方法在高维场景下鲁棒

消融实验¶

模块配置	ACC	NMI
仅 $\mathcal{L}_{\text{recon}}$ (无记忆)	基线	基线
+ RAM (联想模块)	+2-4%	+2-3%
+ RAM + CFM (加遗忘)	+4-6%	+3-5%
+ RAM + CFM + KCM (完整)	+6-8%	+5-7%

RAM 贡献最大增量，验证了正交关联的有效性
CFM 的幂律衰减比均匀权重高 1-2 个百分点
KCM 进一步带来稳定的额外收益

超参数分析¶

遗忘率 $\lambda$：$\lambda \in [0.5, 1.5]$ 时效果稳健，$\lambda$ 过小（接近均匀权重）或过大（几乎只看最近视图）均劣于中间值
平衡参数 $\alpha, \beta$：网格搜索表明 $\alpha$ 和 $\beta$ 在 $10^{-2}$ 到 $10^{0}$ 范围内对性能影响有限，鲁棒性较好
ADMM 收敛：目标函数通常在 20 次迭代内收敛，计算开销可控

亮点¶

大脑记忆机制的巧妙映射：将海马体-前额叶协作记忆的三阶段（快速编码→遗忘衰减→长期巩固）完整地映射到数学框架，生物可解释性强
所有正交约束均有闭式解：Procrustes 解避免了迭代投影的计算开销，使整个优化过程高效且收敛有保证
幂律遗忘权重设计优雅：仅需一个参数 $\lambda$ 即可灵活调控稳定性-可塑性平衡，且权重可在线递推更新，无需存储全部历史
3 阶时序张量 + 低秩约束：将短期/长期记忆统一建模为张量结构，通过低秩分解自然地实现记忆提炼，避免了启发式融合

局限性¶

仅考虑了视图增量场景（新视图逐步到达），未涉及样本增量（新样本到达）和混合增量场景
幂律遗忘模型假设所有历史视图的重要性仅与时间距离相关，忽略了视图本身的质量/信息量差异
3 阶张量分解在视图数 $T$ 很大时（如 $T > 50$），张量构建和分解的计算开销可能显著增加
实验数据集规模相对较小（百到千级样本），在 10 万+级大规模数据上的可扩展性有待验证
未考虑视图缺失或部分视图损坏的鲁棒性场景
超参数 $\alpha, \beta, \lambda$ 仍需调参，尽管实验显示鲁棒性尚可

评分¶

新颖性: ⭐⭐⭐⭐ — 将神经科学记忆机制系统化地引入 IMVC 具有独创性，三模块设计完整且相互耦合
实验充分度: ⭐⭐⭐⭐ — 多数据集 + 完整消融 + 超参数分析，缺少大规模实验
写作质量: ⭐⭐⭐⭐ — 生物类比清晰，数学推导严谨，动机-方法-实验一致性好
价值: ⭐⭐⭐⭐ — 为 IMVC 提供了新的方法论视角，闭式解保证了实际可用性
价值: 待评

模块配置	ACC	NMI
仅 \(\mathcal{L}_{\text{recon}}\) (无记忆)	基线	基线
+ RAM (联想模块)	+2-4%	+2-3%
+ RAM + CFM (加遗忘)	+4-6%	+3-5%
+ RAM + CFM + KCM (完整)	+6-8%	+5-7%