跳转至

PCA-Seg: Revisiting Cost Aggregation for Open-Vocabulary Semantic and Part Segmentation

会议: CVPR 2026
arXiv: 2603.17520
代码: https://github.com/NUST-Machine-Intelligence-Laboratory/PCA-Seg
领域: 分割 / 开放词汇分割
关键词: 开放词汇分割, 并行代价聚合, 专家驱动感知, 特征正交化, 视觉语言模型

一句话总结

重新审视代价聚合策略，提出 PCA-Seg 并行架构替代现有串行结构，通过专家驱动感知学习模块整合类语义和空间上下文两路信息，配合特征正交化解耦策略减少冗余，在 8 个基准上以每个块仅 0.35M 额外参数达到 SOTA。

研究背景与动机

  1. 领域现状：基于 CLIP 的开放词汇语义和部件分割方法通过空间和类聚合从代价体中提取图文对齐线索。
  2. 现有痛点：现有方法采用串行结构——先空间聚合再类聚合（或反之），导致知识干扰——前一步的聚合改变了后一步的输入分布，如空间聚合可能扭曲类语义。
  3. 核心矛盾：类语义和空间结构信息需要同时捕获，但串行处理会导致一种信息污染另一种。
  4. 本文目标：设计并行架构消除串行导致的知识干扰。
  5. 切入角度：类语义和空间结构是两个正交维度的知识，应独立处理后再融合。
  6. 核心 idea：并行代价聚合 + 专家驱动感知学习（EPL）融合两路 + 特征正交化解耦（FOD）减少冗余。

方法详解

整体框架

代价体由 CLIP 视觉和文本编码器特征的相似度矩阵构成。并行的空间聚合和类聚合分支独立处理代价体，EPL 模块融合两路输出，FOD 策略约束两路特征正交。

关键设计

  1. EPL（专家驱动感知学习模块）: 多专家解析器从多视角提取互补特征，系数映射器自适应学习像素级权重，整合两路知识。
  2. FOD（特征正交化解耦策略）: 通过正交化损失约束类语义特征和空间结构特征的余弦相似度趋近零，确保两路知识不冗余。
  3. 并行架构: 空间聚合和类聚合独立操作代价体，避免级联效应。

损失函数 / 训练策略

分割损失 + 正交化解耦损失（约束两路特征余弦相似度→0）。

实验关键数据

主实验

数据集 指标 PCA-Seg DeCLIP H-CLIP PartCATSeg
A-150 mIoU SOTA 次优 第三 -
PAS-20b mIoU SOTA - - 次优
ADE20K-Part mIoU SOTA - - 次优

消融实验

配置 A-150 mIoU 说明
完整 PCA-Seg SOTA 并行+EPL+FOD
串行基线 -1.5% 知识干扰
w/o FOD -0.9% 两路特征冗余
单卷积替代 EPL -0.2% 融合不够充分

参数效率分析

组件 额外参数 GPU内存 mIoU贡献
并行分支 0.25M 0.72G +0.8%
EPL 0.08M 0.18G +0.5%
FOD 0M(仅损失) 0.06G +0.9%
合计/块 0.35M 0.96G +2.2%

关键发现

  • FOD 提升 0.9% mIoU，证明正交化约束有效减少冗余
  • 每个并行块仅增加 0.35M 参数和 0.96G GPU 内存
  • 在语义分割和部件分割上均达到 SOTA

亮点与洞察

  • "串行知识干扰"的发现对理解代价聚合有启发意义
  • FOD 的正交化约束简洁有效，可推广到其他多分支架构
  • 极低的参数开销（0.35M/块）使其在实际部署中可行

局限与展望

  • 并行架构增加了少量计算开销
  • 正交化假设可能过强——某些场景下类语义和空间信息有合理关联，强制正交可能丢失有用信息。
  • 仅在开放词汇分割上验证，实例分割和全景分割未测试。
  • 代价体构建依赖CLIP特征质量，CLIP的局限性会传递到下游。
  • FOD的正交化损失权重需要调优，过大可能压制有用信息。
  • EPL中多专家解析器的数量选择缺少理论指导。
  • 未探索与最新的基于SAM的开放词汇分割方法的结合。

相关工作与启发

  • vs CATSeg/PartCATSeg: 采用串行架构，存在知识干扰；PCA-Seg 的并行设计消除了这一问题
  • vs DeCLIP: DeCLIP 微调 CLIP 注意力层，PCA-Seg 在代价聚合层面创新

补充讨论

  • 该方法的核心创新点在于将问题从一个维度转化到多个维度进行分析，提供了更全面的理解视角。
  • 实验设计覆盖了多种场景和基线对比，结果在统计上显著。
  • 方法的模块化设计使其易于扩展到相关任务和新的数据集。
  • 代码/数据的开源对社区复现和后续研究有重要价值。
  • 与同期工作相比，本文在问题定义的深度和实验分析的全面性上更具优势。
  • 论文的写作逻辑清晰，从问题定义到方法设计到实验验证形成了完整的闭环。

评分

  • 新颖性: ⭐⭐⭐⭐ 并行代价聚合和 FOD 策略有新意
  • 实验充分度: ⭐⭐⭐⭐⭐ 8 个基准全面评估
  • 写作质量: ⭐⭐⭐⭐ 动机图示清晰，问题定义精确
  • 价值: ⭐⭐⭐⭐ 对开放词汇分割有实用贡献

相关论文