PCA-Seg: Revisiting Cost Aggregation for Open-Vocabulary Semantic and Part Segmentation¶

会议: CVPR 2026
arXiv: 2603.17520
代码: https://github.com/NUST-Machine-Intelligence-Laboratory/PCA-Seg
领域: 语义分割 / 开放词汇分割
关键词: 开放词汇分割, 代价聚合, 并行架构, 专家驱动学习, 特征正交解耦

一句话总结¶

PCA-Seg 提出并行代价聚合(Parallel Cost Aggregation)范式替代传统的串行空间-类别聚合架构，通过专家驱动感知学习(EPL)模块高效整合语义和空间上下文流，并用特征正交解耦(FOD)策略消除两种知识流的冗余，每个并行块仅增加 0.35M 参数即在 8 个开放词汇语义和部件分割基准上达到 SOTA。

研究背景与动机¶

领域现状：开放词汇语义和部件分割(OSPS)借助 CLIP 等视觉语言模型的强大图文对齐能力实现任意类别分割。主流方法（如 CAT-Seg、DeCLIP、PartCATSeg）从代价体(cost volume)中提取图文对齐线索。
现有痛点：现有方法采用串行架构——先空间聚合再类别聚合（或反之），这导致类别级语义和空间上下文之间产生知识干扰。例如，空间聚合可能扭曲卡车类别的语义，后续类别聚合进一步放大偏差，导致误分类。
核心矛盾：串行架构的级联行为使一种信息的聚合会触发另一种信息聚合的连锁反应，两种知识不可避免地互相污染。
本文目标：设计并行架构使两种聚合独立操作，同时解决如何高效整合独立的知识流的挑战。
切入角度：观察到简单并行（单卷积同时捕获两种信息）效果反而下降 0.2%，说明需要精心设计的整合机制。
核心 idea：并行聚合 + 多专家解析器多视角融合 + 正交化解耦消除冗余。

方法详解¶

整体框架¶

输入图像和文本特征通过 CLIP 编码器提取，计算 Hadamard 积构建代价体 \(\mathcal{S}\)。代价体同时经过空间聚合和类别聚合两个并行分支，分别产生空间上下文特征 \(\mathcal{B}_n\) 和类别语义特征 \(\mathcal{E}_n\)。EPL 模块从两个流中提取互补知识并融合，FOD 策略确保两个流在知识源层面保持正交。

关键设计¶

专家驱动感知学习 (EPL):
- 功能：高效整合类别聚合和空间聚合产生的两种知识流
- 核心思路：包含两个组件——(a) 多专家解析器(ME-Parser)：用多组权重从两个流中提取互补特征，每个专家关注不同视角；(b) 系数映射器(Co-Mapper)：对语义和空间特征降维学习，生成逐像素的自适应权重系数，用于强调专家解析结果中的关键区域，最终产生统一的鲁棒特征嵌入
- 设计动机：单次融合无法充分利用两种独立知识流的互补性，需要多视角解析和自适应加权
特征正交解耦 (FOD):
- 功能：减少类别语义和空间上下文特征之间的冗余
- 核心思路：设计正交化解耦损失，将两个流的表示的余弦相似度约束为零，强制两种知识流正交。正交化确保从知识源头上两个流提供最大化的互补信息
- 设计动机：类别语义和空间结构本应是两个独立维度的知识，正交化确保 EPL 能从中提取更多样、更互补的知识
并行代价聚合架构:
- 功能：消除串行架构中的知识干扰
- 核心思路：将传统的 \(\mathcal{V}_{n+1} = \Gamma_n(\Phi_n(\mathcal{V}_n))\) 替换为并行的 \(\mathcal{B}_n = \Phi_n(\mathcal{V}_n)\) 和 \(\mathcal{E}_n = \Gamma_n(\mathcal{V}_n)\)，两者独立操作后由 EPL 融合。每个并行块仅增加 0.35M 参数和 0.96G GPU 显存
- 设计动机：消除空间聚合对类别语义的扭曲和类别聚合对空间结构的干扰

损失函数 / 训练策略¶

标准分割交叉熵损失 + FOD 正交化损失。遵循 CAT-Seg/PartCATSeg 的训练协议。

实验关键数据¶

主实验¶

数据集	指标 (mIoU↑)	之前 SOTA	PCA-Seg	提升
A-150 (语义)	mIoU	14.9 (DeCLIP)	15.6	+0.7
PAS-20b (语义)	mIoU	81.3 (H-CLIP)	82.4	+1.1
ADE-Part-234 (O)	mIoU	24.1 (PartCATSeg)	25.3	+1.2
Pascal-Part-116 (H)	hIoU	43.8 (PartCATSeg)	45.1	+1.3

在语义分割和部件分割的 8 个基准上均达到 SOTA。

消融实验¶

配置	mIoU (A-150)	说明
串行基线 (CAT-Seg)	14.9	原始串行架构
并行基线 (单卷积)	14.7	简单并行反而下降
+EPL	15.3	多专家融合提升
+FOD	15.6	正交化进一步提升 +0.9%

关键发现¶

简单并行不如串行（-0.2%），必须有 EPL 才能发挥并行优势
FOD 在 A-150 上提升 0.9%，说明减少冗余对学习多样化知识至关重要
参数效率极高：每个并行块仅增加 0.35M 参数（vs 串行块 0.33M）
在部件分割上提升更大，可能因为部件级需要更精细的空间-语义解耦

亮点与洞察¶

知识干扰的发现：清晰地指出串行架构中空间和类别聚合的级联干扰问题，可视化证据充分
正交化的妙用：用正交约束确保两种信息流的独立性，简单有效
极低参数开销：每个块仅增加 0.35M 参数，几乎"免费"获得性能提升

局限与展望¶

仍基于 CLIP 的 ViT 注意力层微调，受限于 CLIP 的视觉表示能力
正交化是硬约束，某些场景下类别和空间信息可能确实需要交互
未在 3D 分割或视频分割上验证
未来可探索更灵活的知识流交互方式

评分¶

新颖性: ⭐⭐⭐⭐ 并行聚合替代串行是有见地的设计改进
实验充分度: ⭐⭐⭐⭐⭐ 8 个基准的全面评测
写作质量: ⭐⭐⭐⭐ 动机分析充分，可视化清晰
价值: ⭐⭐⭐⭐ 对开放词汇分割的代价聚合范式有指导意义