Contact-Aware Refinement of Human Pose Pseudo-Ground Truth via Bioimpedance Sensing¶

会议: ICCV 2025
arXiv: 2512.04862
代码: biotuch.is.tue.mpg.de
领域: Human Understanding / 3D人体姿态估计
关键词: 自接触检测, 生物阻抗传感, 3D人体姿态, SMPL-X, 多模态融合

一句话总结¶

提出BioTUCH框架，通过手腕间生物阻抗传感检测自接触事件，结合视觉姿态估计器进行接触感知的3D手臂姿态优化，平均提升重建精度11.7%。

研究背景与动机¶

现有痛点¶

现有痛点：领域现状：3D人体姿态估计在面对自接触场景（如手触脸、双手握紧）时表现很差，主要原因有两个：

深度歧义：沿相机光轴方向的接触在单目RGB中难以区分，手常常"悬浮"在应该接触的表面前

训练数据缺乏：遮挡和深度模糊使得pGT（伪真值）在自接触场景中质量很低，而多视角采集系统成本高昂

现有方法如TUCH和SCP虽然尝试建模自接触，但仅凭视觉信号难以可靠区分"接近"和"实际触碰"。本文另辟蹊径，引入生物阻抗传感这一廉价、非侵入式的可穿戴信号，直接测量皮肤-皮肤接触的真值，形成视觉+传感的互补方案。

方法详解¶

整体框架¶

BioTUCH由两个阶段组成：(1) 利用生物阻抗信号检测自接触事件的起止时间；(2) 对检测到接触的帧进行手臂姿态优化，使SMPL-X网格产生物理合理的接触。

关键设计¶

生物阻抗传感与自接触检测：
- 在两个手腕佩戴电极手环，形成手腕-手腕的阻抗测量回路
- 皮肤-皮肤接触时会产生并联电路通路，导致阻抗急剧下降
- 信号处理流程：重采样 → 中值滤波(100ms窗口) → 微分 → 自适应阈值检测
- 接触起始：微分信号低于阈值（阈值设为三个最小值平均值的~1/3）
- 接触结束：阻抗恢复到接触前98%的值
- 优先高特异性（0.992）而非高灵敏度（0.858），减少假阳性对优化的干扰
- 还设计了微型传感器（2cm×1.8cm×1.1cm，~20 USD），可隐藏在衣物下
接触感知的手臂姿态优化：
- 基于SMPL-X参数化模型 \(M(\theta, \beta, \psi)\)
- 仅优化手臂关节参数（肩、肘、腕），通过掩码梯度更新实现： \(\boldsymbol{\theta}_{i+1} = \boldsymbol{\theta}_i - \eta \nabla_{\boldsymbol{\theta}} \mathcal{L} \odot \mathbf{M}_a\)
- 接触区域识别：计算手部顶点 \(\mathbf{v}\) 与身体上半身目标顶点 \(\mathbf{u}\) 的距离，z轴权重更低（x/y平面1cm误差 ≈ z轴0.25cm误差）
- 选择优化哪只手臂：比较两只手的加权距离，距离差≤50%时同时优化两臂
多项损失函数设计：
- 总损失：\(\mathcal{L} = \mathcal{L}_{2D} + \lambda_{contact} \mathcal{L}_{contact}\)
- \(\mathcal{L}_{2D}\)：手臂2D关节重投影误差
- \(\mathcal{L}_{contact} = \mathcal{L}_{consistency} + \mathcal{L}_{interpenetration} + \mathcal{L}_{proximity}\)
- 邻近损失带相机轴自适应权重：\(\mathcal{L}_{proximity} = \sum_{h \in \mathcal{H}} \sum_{(\mathbf{v}_i, \mathbf{u}_i) \in \mathcal{P}_h} \sum_{d \in \{x,y,z\}} \omega_d |v_i^d - u_i^d|\)
- 深度方向权重为观察平面的4倍，因为深度误差通常是平面误差的3-4倍
- 当所有轴距离≤5mm时视为接触达成，停止优化

损失函数 / 训练策略¶

不是端到端训练，而是后处理优化流程
对整个序列平均体型参数 \(\beta\)，保持一致
后处理使用OneEuroFilter平滑，增强时间一致性
优先接触损失贡献，2D损失仅提供辅助约束

实验关键数据¶

主实验¶

输入方法	PA-V2V↓(mm)	肩误差(mm)	肘误差(mm)	腕误差(mm)	检测率↑(%)	接触距离↓(mm)
Multi-HMR	57.46	23.49	29.86	65.37	41.28	87.48
+BioTUCH	50.21	23.95	30.99	56.29	78.34	71.22
AiOS	72.24	21.84	39.83	77.29	45.87	99.02
+BioTUCH	62.79	22.42	40.65	65.61	78.48	79.16
TUCH	70.55	28.24	41.03	58.71	59.46	96.31
+BioTUCH	63.99	28.27	40.59	52.91	84.60	86.26

消融实验¶

配置	PA-V2V↓(mm)	检测率↑(%)	说明
Multi-HMR原始	57.46	41.28	基线
+仅2D Loss	77.41	42.16	仅重投影约束反而退化
+仅Contact Loss	50.74	79.35	接触损失贡献最大
+BioTUCH完整	50.21	78.34	两项损失互补

关键发现¶

PA-V2V误差平均改善11.7%，接触检测率平均提升31.6个百分点
腕部关节改善最为显著（平均减少8.85mm），肩肘略有退化是因为仅优化接触
接触损失是核心贡献组件，验证了生物阻抗提供的接触信息无法仅从2D关键点推导
传感器在自然场景下依然有效，可隐藏于衣物下

亮点与洞察¶

跨模态互补思路新颖：用极低成本的可穿戴传感器解决视觉系统的根本性深度歧义问题
微型传感器设计实用：~20 USD、2cm体积、3h续航，可规模化采集接触数据
仅优化手臂关节的设计精妙——自接触主要由手发起，局部优化既高效又避免引入全身误差
z轴权重不对称设计（4倍）直接反映了单目视觉系统的内在缺陷

局限与展望¶

接触区域识别依赖初始网格质量，初始误差大时可能识别到错误区域
手指关节精度影响优化停止条件——例如手指穿透导致提前停止
背后手势等完全不可见的接触无法从视觉中推断接触位置
当前仅做二值接触检测，未利用阻抗信号中隐含的接触位置和面积信息
数据集仅3名被试，虽然阻抗传感已在多样人群中验证

评分¶

新颖性: ⭐⭐⭐⭐⭐ 跨模态融合思路独特，首次将生物阻抗用于通用自接触检测+姿态优化
实验充分度: ⭐⭐⭐⭐ 三种基线方法、定量+定性+野外验证，但数据集规模较小
写作质量: ⭐⭐⭐⭐⭐ 问题动机清晰，方法描述详尽，图示直观
价值: ⭐⭐⭐⭐ 微型传感器方案实用性强，可规模化采集高质量训练数据