HSEmotion Team at ABAW-10 Competition: Facial Expression Recognition, Valence-Arousal Estimation, Action Unit Detection and Fine-Grained Violence Classification
会议: CVPR 2025 (Workshop)
arXiv: 2603.12693
代码: EmotiEffLib / VD
领域: 人脸情感识别 / 情感计算
关键词: 面部表情识别, Valence-Arousal估计, Action Unit检测, 暴力检测, EfficientNet, MLP
一句话总结
HSEmotion 团队在 ABAW-10 竞赛中提出了一个轻量级 pipeline：用预训练 EfficientNet 提取面部 embedding，结合 MLP + GLA（Generalized Logit Adjustment）+ 滑窗平滑，在四项任务（EXPR/VA/AU/VD）上均大幅超过官方 baseline，其中暴力检测任务使用 ConvNeXt-T + TCN 达到 0.783 macro F1。
研究背景与动机
- 领域现状：ABAW（Affective Behavior Analysis in-the-Wild）竞赛是情感计算的主流 benchmark，第10届包含四项任务：面部表情分类（EXPR）、Valence-Arousal 连续估计（VA）、Action Unit 检测（AU）、细粒度暴力检测（VD）。
- 核心挑战：真实场景数据面临遮挡、姿态/光照变化、域偏移、标签噪声、类别不平衡等问题。现有方法通常需要复杂的时序建模（Transformer/TCN）和多模态融合，计算成本高。
- 本文切入角度：不追求架构复杂度，而是用高质量预训练 encoder + 简单 MLP + 后处理技巧（GLA、置信度过滤、滑窗平滑）实现 "简单但有效" 的 pipeline。
- 核心思路：预训练模型已具有很强特征提取能力，关键在于如何高效利用这些特征并处理类别不平衡和帧间噪声问题。
方法详解
面部表情分类（EXPR）
- 特征提取：用 EmotiEffNet-B0（EfficientNet 在 AffectNet 上预训练）提取面部 embedding
- MLP 分类器：单隐层 MLP，训练用加权 softmax loss 处理类别不平衡
- GLA（Generalized Logit Adjustment）：在验证集上搜索每类 bias \(b_y^*\)，最大化 F1 score，有效校正类先验偏差
- 置信度过滤：若预训练模型输出的最高概率 \(> p_0\)（0.8-0.9），直接采用其预测；否则用 MLP 分类
- 时序平滑：滑窗对相邻帧概率取平均，消除帧级噪声
- 可选音频融合：提取 wav2vec 2.0 特征，训练单独 MLP，与视觉分支加权融合
Valence-Arousal 估计（VA）
- 用 MT-DDAMFN 预训练模型提取 embedding，无隐层 MLP 回归
- 损失函数结合 MSE 和 CCC（Concordance Correlation Coefficient）
- 同样使用滑窗平滑
Action Unit 检测（AU）
- 12 个 AU 的多标签分类，MLP + sigmoid 输出
- 使用加权 BCEWithLogitsLoss，正类权重按频率计算
- 创新点：融合 embedding 和 logits 两个 MLP 的预测（blending）
- 逐 AU 搜索最优阈值（而非统一 0.5）
暴力检测（VD）
- 最佳单流模型：ConvNeXt-T（ImageNet-1K 预训练）提取 768-d 帧特征 + 5 层 dilated TCN
- 多模态变体：加入 MediaPipe Pose 骨架特征（406-d → 256-d），cross-attention 融合 + BiLSTM
- 训练使用 AdamW + OneCycleLR + TrivialAugmentWide，正类权重 1.15
实验关键数据
EXPR 分类（AffWild2 验证集）
| 方法 |
F1-score |
Accuracy |
| Baseline VGGFACE |
25.0 |
- |
| EmotiEffNet, GLA, 滑窗 |
44.85 |
55.41 |
| EmotiEffNet, GLA, 过滤+滑窗 |
45.79 |
55.69 |
| EmotiEffNet + wav2vec, GLA, 过滤+滑窗 |
47.40 |
57.98 |
| 对比：CLIP+TCN [68] |
46.51 |
- |
VA 估计（AffWild2 验证集）
| 方法 |
CCC_V |
CCC_A |
\(P_{VA}\) |
| Baseline ResNet-50 |
0.24 |
0.20 |
0.22 |
| MT-DDAMFN, MLP, 滑窗 |
0.510 |
0.615 |
0.562 |
| 对比：CLIP+TCN [68] |
0.562 |
0.612 |
0.587 |
AU 检测（AffWild2 验证集）
| 方法 |
F1-score |
| Baseline VGGFACE |
39.0 |
| EmotiEffNet, logits+embeddings, 滑窗, 最优阈值 |
54.7 |
| 对比：CLIP+TCN [68] |
58.0 |
暴力检测（DVD 验证集）
| 方法 |
F1_V |
F1_NV |
Macro F1 |
| Baseline ResNet-50 + BiLSTM |
0.56 |
0.71 |
0.640 |
| ConvNeXt-T + TCN |
0.738 |
0.828 |
0.783 |
| ConvNeXt-T + Skel. attn + BiLSTM |
0.715 |
0.828 |
0.772 |
关键发现
- 2D 预训练 encoder + 简单时序头一致优于 3D video backbone（如 SlowFast、VideoMAE）
- 光流双流融合反而不如纯 RGB ConvNeXt-T
- GLA 对类别不平衡的校正效果显著（F1 从 38.68 → 41.40）
- 置信度过滤 + 滑窗平滑分别贡献约 1-2% 的 F1 提升
- 逐 AU 阈值搜索比统一 0.5 阈值持续提升约 0.2-0.5%
亮点
- 极致的工程简洁性：整个 EXPR pipeline 只有预训练 encoder + 单层 MLP + 三个后处理技巧，却达到接近 SOTA 的性能
- GLA 的有效应用：将 post-hoc logit 调整从通用分类迁移到情感识别场景，简单有效
- 置信度过滤的直觉：预训练模型已经对高置信样本有准确判断，低置信样本才需要额外分类器
- VD 任务的系统性消融：测试了大量 backbone/temporal head/多模态组合，结论清晰
局限性
- 方法论创新有限——主要是已有技术（EfficientNet + MLP + GLA + 平滑）的工程组合
- EXPR/VA/AU 三项任务与历年 ABAW 最优方案仍有差距（尤其是 AU 检测落后 CLIP+TCN 约 3.3%）
- VA 估计仅用单帧 + 简单平滑，未充分利用时序依赖
- 音频模态集成较粗糙（简单加权融合），未探索 cross-attention 等更精细的融合方式
- 暴力检测仅在 DVD 数据集上测试，泛化性待验证
评分
- 新颖性: ⭐⭐ 方法论创新有限，主要是成熟技术的组合
- 实验充分度: ⭐⭐⭐⭐ 四项任务均有详细消融，VD 对比了大量架构
- 写作质量: ⭐⭐⭐ 结构清晰但偏 technical report 风格
- 价值: ⭐⭐⭐ 作为竞赛方案有工程参考价值，展示了"简单方法"的上限