CoachMe: Decoding Sport Elements with a Reference-Based Coaching Instruction Generation Model¶

会议: ACL 2025
arXiv: 2509.11698
代码: https://motionxperts.github.io/
领域: 多模态 VLM
关键词: 运动指导生成, 姿态分析, 参考对比, 动作理解, 图卷积网络

一句话总结¶

提出 CoachMe，通过对比学习者动作与参考动作的差异（时间+物理两个维度），自动生成运动特异性的教练指导文本，在花样滑冰和拳击上分别超过 GPT-4o 31.6% 和 58.3%（G-Eval）。

研究背景与动机¶

领域现状：视觉语言模型在动作描述（motion caption）方面取得进展，但这些模型聚焦于通用动作描述（如"一个人抬左膝"），而非运动训练中所需的纠错指导。
现有痛点：每项运动有独特的动作模式——滑冰中膝肩协调关系着平衡与跳跃执行，拳击中力量传递从脚到拳决定打击力。通用模型缺乏这种领域知识，且无法提供可操作的改进建议。
核心矛盾：有效的教练指导需要两个要素：(1) 识别错误的具体身体部位和时间点，(2) 解释如何改进。现有 VLM（GPT-4o 等）只能产生教练语气但缺乏关键信息的泛泛回答。
本文要解决：如何从有限的运动数据中学习领域知识，并模拟教练的思维过程（定位错误→分析原因→给出改进方案）？
切入角度：通过参考动作对比——教练总是拿标准动作与学员动作做比较来找问题。模型也可以通过计算"差异token"来定位需要改进的地方。
核心idea：将动作对比分解为概念差异（时间对齐+RGB差异）和人体姿态感知（骨架图卷积），融合两种模态的差异信息生成指导文本。

方法详解¶

整体框架¶

CoachMe 包含三个模块：(1) Concept Difference Module 对齐学员与参考视频并计算 RGB 级概念差异 + 识别错误片段；(2) Human Pose Perception 从骨架数据中提取局部+全局动作token；(3) Instruct Motion 将动作token和差异token输入 T5 语言模型生成指导文本。

关键设计¶

Concept Difference Module（概念差异）:
做什么：对齐学员视频和参考视频，计算帧级差异，识别错误片段
核心思路：用 CARL 视频编码器提取帧级概念嵌入，通过 DTW 动态时间规整找到学员视频中与参考最匹配的片段。概念差异 \(c = F(x_r) - F(x_l)\)。然后用 Transformer Encoder 预测错误片段的起止位置
设计动机：教练的第一步是确定"何时出错"，时间定位是后续分析的前提。DTW 处理了学员和参考视频长度不同的问题
Human Pose Perception（姿态感知）:
做什么：从骨架数据中提取包含空间和时间信息的动作token
核心思路：用 HybrIK 提取 22 个关节坐标 \(J\)，计算关节朝向 \(O_{a,b} = J_a - J_b\)。三个子模块：PU（用骨架图 \(G_S\) 上的图卷积理解姿态）→ PE（提取局部动作token + 学习注意力图 \(G_A\) 发现关键关节关系）→ PA（在学习到的注意力图上传播信息得到全局动作token）。最终 \(Token = T' \oplus T''\) 结合局部和全局
设计动机：STA-GCN 只在固定骨架图上传播信息，PA 额外学到了骨架中原本不相连的关节间的隐含关系（如膝和肩的协调）
Instruct Motion（指令生成）:
做什么：融合动作和差异信息生成教练指令
核心思路：计算学员和参考的动作token差异 \(Token^{diff}\)，与学员动作token拼接后经最大池化、投影层，输入 T5 (223M) 生成文本指令 \(I = LM(Proj(Pool_{max}(Token \oplus Token^{diff})))\)。用 LoRA 微调以适配少量运动数据
设计动机：先在 HumanML3D 大规模数据上预训练 Basic CoachMe 学习通用动作描述能力，再用少量运动数据微调适配特定运动

实验关键数据¶

主实验¶

花样滑冰（FS）和拳击（BX）指导生成对比（G-Eval 5分制）：

方法	FS G-Eval	BX G-Eval	BX BLEU-4
GPT-4o	1.39	1.39	0.0
LLaMa 3.2	1.31	1.20	0.0
CoachMe (best)	1.83	2.20	12.3
Basic CoachMe (no ref)	1.53	1.85	9.4

消融实验¶

CoachMe 配置	FS G-Eval	BX G-Eval
有参考 + 对齐片段	1.83	2.20
有参考 + 错误片段	1.55	1.61
有参考 + GT片段	1.37	-
无参考 (Basic)	1.53	1.85
CoachMe (RGB diff)	1.21-1.57	1.44-1.98

关键发现¶

CoachMe 在 G-Eval 上超 GPT-4o 31.6%（FS）和 58.3%（BX）：GPT-4o 虽有教练语气但缺乏具体的错误分析和改进建议
参考动作对比显著提升指导质量：有参考的 CoachMe 比无参考的 Basic CoachMe 提升明显（FS: 1.83 vs 1.53），说明差异对比是有效的
骨架模态优于 RGB 模态计算差异：CoachMe (skeleton) 一致优于 CoachMe (RGB)，因为骨架级别的差异对运动分析更精确
使用整个对齐片段比仅用错误片段效果更好：可能因为完整上下文有助于理解错误的来龙去脉
通用动作描述不需要参考（Basic CoachMe 加参考后描述质量下降），但运动指导需要参考——两者有本质区别

亮点与洞察¶

参考对比的思路直觉且有效：完美复刻了教练的思维流程——看标准动作，看学员动作，找差异，给指导。这个框架可以迁移到其他需要对比分析的领域（如手术训练、乐器演奏）
在极少量数据下工作：FS 数据集仅 177 训练视频，BX 仅 163 个，通过在 HumanML3D 上预训练 + LoRA 微调实现了有效适配
可视化注意力图增强可解释性：图卷积网络学到的注意力图可以直观展示模型关注的关节和关节间关系

局限性 / 可改进方向¶

数据集规模很小且标注来源有限（FS 仅 1 位教练标注，领域覆盖窄）
G-Eval 分数整体偏低（最好也只有 2.20/5），说明生成质量还有很大提升空间
只测试了跳跃和出拳等单一动作，复杂组合动作和整场比赛分析未涉及
未与近期的专门运动分析工具（如 OpenPose + 规则引擎）对比

评分¶

新颖性: ⭐⭐⭐⭐ 参考对比生成运动指导是新颖的任务定义和方法设计
实验充分度: ⭐⭐⭐ 有人类评估和详细消融，但数据集太小，只涵盖两种运动
写作质量: ⭐⭐⭐ 方法描述清晰但符号较多，部分实验结果解读不够深入
价值: ⭐⭐⭐ 贡献了有趣的任务定义和数据集，但实用性受限于数据规模和生成质量