HUM4D: A Dataset and Evaluation for Complex 4D Markerless Human Motion Capture¶

会议: CVPR 2026
arXiv: 2604.12765
代码: 无
领域: 人体理解 / 运动捕捉
关键词: 无标记运动捕捉, 4D人体建模, 多人交互, 数据集, SMPL

一句话总结¶

提出 HUM4D 数据集，包含复杂单人和多人运动场景（快速运动、遮挡、身份交换），提供同步多视角 RGB/RGB-D 序列、精确 Vicon 标记运动捕捉真值和 SMPL/SMPL-X 参数，基准测试揭示 SOTA 无标记方法在真实条件下的显著性能退化。

领域现状：无标记人体运动捕捉取得了显著进展，在基准数据集上误差持续降低。Human3.6M、CMU Panoptic 等数据集推动了该领域发展。

现有痛点：基准数据集上的高性能不能转化为真实视频的鲁棒性。现有数据集施加了结构约束：有限的服装变化、受控室内环境、适度的运动动态、受限的遮挡程度、主要是单人捕捉。

核心矛盾：基准性能与部署性能之间的域差距持续存在。广泛采用的数据集（Human3.6M、CMU Panoptic、HUMAN4D）在复杂性方面接近饱和。

本文目标：构建反映真实世界复杂性的数据集——多人动态交互、严重遮挡、快速身份交换、变化距离——并进行全面基准评估。

切入角度：获取此类数据集是非平凡的，需要多传感器同步、精确标定和专业标记运动捕捉对齐。

核心 idea：通过 Vicon 系统提供精确真值，在真实复杂场景下系统评估 SOTA 方法的泛化能力。

HUM4D 数据集包含：(1) 同步多视角 RGB 和 RGB-D 序列；(2) 精确相机标定；(3) Vicon 标记运动捕捉真值；(4) 时间对齐的 SMPL 和 SMPL-X 参数。场景涵盖单人运动和多人交互，包括快速位置交换、动态遮挡、家具交互和不同主体间距。

复杂运动场景设计:
- 功能：填补现有数据集在场景复杂性上的空白
- 核心思路：设计包含快速运动转换、频繁的人际遮挡、穿着相似的主体间快速位置交换、与家具的交互等挑战性场景
- 设计动机：这些正是 SOTA 方法在真实世界中失败的典型场景
多传感器同步与标定:
- 功能：确保视觉观察与运动真值的精确对齐
- 核心思路：多视角 RGB 和 RGB-D 传感器的时间同步，与 Vicon 系统的几何标定对齐
- 设计动机：可靠的真值获取是评估的基础，特别是对于多人遮挡场景
SMPL/SMPL-X 参数拟合:
- 功能：为参数化人体建模研究提供标准化表示
- 核心思路：从 Vicon 标记数据拟合 SMPL 和 SMPL-X 参数，提供时间对齐的 3D 形状和姿态轨迹
- 设计动机：使数据集兼容主流参数化人体建模研究框架

本文是数据集论文，不涉及模型训练。评估使用标准指标（MPJPE、PA-MPJPE 等）在多种 SOTA 方法上进行基准测试。

方法	类型	单人 MPJPE↓	多人 MPJPE↓	性能退化
HMR 2.0	单目	78.5	125.3	+60%
WHAM	世界坐标	65.2	108.7	+67%
GVHMR	世界坐标	58.3	98.5	+69%
4DHumans	多人	72.1	95.6	+33%