引用本文

沈媛媛, 张燕明, 沈燕飞. 基于视觉的人体动作质量评价研究综述. 自动化学报, 2025, 51(2): 404−426 doi: 10.16383/j.aas.c230551

Shen Yuan-Yuan, Zhang Yan-Ming, Shen Yan-Fei. A survey of vision-based motion quality assessment. Acta Automatica Sinica, 2025, 51(2): 404−426 doi: 10.16383/j.aas.c230551

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230551

关键词

动作质量，评价，计算机视觉，信息获取，特征表示，损失函数 

摘要

基于视觉的人体动作质量评价利用计算机视觉相关技术自动分析个体运动完成情况, 并为其提供相应的动作质量评价结果. 这已成为运动科学和人工智能交叉领域的一个热点研究问题, 在竞技体育、运动员选材、健身锻炼、运动康复等领域具有深远的理论研究意义和很强的实用价值. 本文将从数据获取及标注、动作特征表示、动作质量评价3个方面对涉及到的技术进行回顾分析, 对相关方法进行分类, 并比较分析不同方法在AQA-7、JIGSAWS、EPIC-Skills 2018三个数据集上的性能. 最后讨论未来可能的研究方向.

文章导读

随着视觉数据采集设备日渐普及和计算机技术的持续发展, 基于视觉的人体行为理解与分析任务已经取得了长足的发展. 早期研究工作多数局限在动作识别[1]任务上, 即对视觉数据中包含的人体动作类别进行识别. 该类任务接收一个视觉动作数据(如视频片段)作为输入, 输出一个动作类别, 表示主体正在进行的动作. 然而, 在实际应用场景中, 常常还需要模型具有对人体执行的动作质量进行客观量化的评价和分析能力, 进而帮助提升运动技能、保障比赛公平、促进改善健康等. 因此, 基于视觉的人体动作质量评价任务被提出并受到研究关注. 

基于视觉的动作质量评价[2−3]首先使用运动相机、深度相机等视觉数据采集设备记录人体的动作过程, 形成RGB视频、骨架序列等运动数据; 然后借助计算机视觉[4−5]与深度学习[6−7]相关技术对运动数据进行处理分析, 学习并理解其中人的动作和行为; 最终获得动作评分、评级或者排序结果, 使得计算机能够像人类专家一样去“评价”动作的完成质量. 

人体动作质量评价在竞技体育、运动员选材、健身锻炼、运动康复等领域都有着广泛应用. 传统的动作质量评价过程依靠领域专家观察运动者的完整动作, 并结合先验知识对运动表现进行人工判断. 然而, 有限的专家资源难以满足不断增长的运动需求, 且专家评价也难以做到绝对的公正客观. 因此, 研究基于视觉的动作质量评价方法有助于改进传统的人体动作质量评价手段, 在提升评价效率和准确性等方面具有重要的应用价值. 

人体兼具刚性和柔性物体的特性, 其运动过程也极其复杂. 动作特征表示易受多种因素的影响, 包括光照、遮挡、环境条件、着装、姿态、视角变化、运动速度、人体形态变化以及复杂互动等. 此外, 人体动作质量评价属于典型的细粒度学习任务: 不同运动者在执行相同的动作时通常呈现出相似的姿态和运动轨迹, 即运动模式之间存在极大的相似性, 评价结果的差异主要体现在局部动作模式上, 比如在跳水运动中双腿是否保持笔直, 或者在康复训练中运动角度是否符合标准等方面. 因此, 在人体动作质量评价任务中, 建立稳健的动作特征表示并设计适用于细粒度评价任务的模型对于构建高性能的动作质量评价方法至关重要. 基于视觉的人体动作质量评价研究具有重要的理论价值. 

近年来, 国内外众多的研究机构, 如美国的麻省理工学院[8]、约翰斯霍普金斯大学[9]、英国的布里斯托大学[10]、中国科学院[11]、清华大学[12]、北京大学[13]等都对基于视觉的人体动作质量评价进行了广泛而深入的研究. 鉴于基于视觉的人体动作质量评价应用广泛, 国内外相关综述文献较少且主要针对特定的应用领域, 因此有必要对相关研究进行全面和系统的梳理. 本文拟对已有研究成果进行调研综述, 对比分析相关方法的优缺点, 并给出不同方法在同一数据集上的性能比较, 为后续的研究工作提供参考. 

基于视觉的人体动作质量评价大体上可以划分为动作数据获取[14]、动作特征表示[15]和动作质量评价[16]三个阶段: 

1)动作数据获取. 动作数据的获取为基于视觉的动作质量评价研究提供了数据基础. 随着视觉传感技术的不断发展, 获取基于视觉的动作数据变得更加容易. 然而, 收集大规模的动作质量评价数据仍然面临挑战. 为了建立鲁棒的模型, 通常需要构建多样性的动作质量数据集, 其中包括各种类型的动作、不同水平的运动者以及不同环境条件下的动作数据. 这增加了数据采集的复杂性和耗时性. 此外, 由于动作质量的评价通常需要多名领域专家的共同参与, 不同的专业人员可能在评价同一动作时产生不同的结果. 因此, 需要通过质量控制方法来确保评分过程的准确性和一致性. 

2)动作特征表示. 动作特征表示是研究该任务的关键环节, 它综合了图像和动作等多方面的信息, 用于设计特征向量以描述人体的运动过程. 通过这一过程, 原始数据被转换为具有区分性的向量表示形式, 从而有助于后续的评价任务. 其主要的技术挑战在于: 动作质量不仅取决于动作的静止姿态是否符合技术执行标准, 还依赖于动作的协调性、流畅性等动态特征. 这要求动作特征表示能够描述身体各部位间复杂的时间、空间关系. 同时, 由于动作评价任务的细粒度特点, 动作特征必须具备很强的鉴别性, 能够有效地抽取和表示细粒度差异. 

3)动作质量评价. 在经过特征提取和处理后, 需要构建动作质量评价模型, 用于将提取的特征与相应的评价目标关联起来, 使得动作数据映射到正确的分数、类别或排序信息上. 由于不同的动作质量评价任务具有各自不同的评价标准, 因此可能需要设计不同的损失函数, 以确保模型能够达到所期望的目标. 同时, 动作质量评价任务中存在着评分专家主观因素引起的不确定性, 以及需要考虑动作之间的细粒度差异等挑战因素, 这些问题在动作质量评价过程中都需要进行合理的建模来解决. 

上述各不同阶段的主要任务及存在的问题如表1所示. 图1列举了动作特征表示和动作质量评价两个阶段所介绍的不同方法及其解决的主要问题. 

图 1  文中总结的不同方法及其解决的主要问题

本文结构如下: 第1节至第3节分别围绕视觉动作质量评价任务的关键步骤展开介绍, 包括动作数据获取、动作特征表示以及动作质量评价; 第4节详细阐述了现有方法在典型动作质量评价数据集上的性能评估结果, 并对实验结果进行了详细分析; 第5节作为总结, 概括了全文的主要内容, 并提出了未来的研究展望. 

图 2  卷积神经网络的动作质量评价方法框架

图 3  人体骨架示意图

基于视觉的人体动作质量评价是一个涉及体育科学、计算机视觉、机器学习、人工智能等多个学科的研究领域, 正受到广泛的关注和应用. 本文对基于视觉的动作质量评价方法流程进行了全面阐述, 详细探究了动作数据获取、动作特征表示以及动作质量评价三个步骤所采用的具体方法, 并在AQA-7、JIGSAWS、EPIC-Skills 2018三个数据集上详细分析不同方法的性能. 通过前述总结和回顾, 可以看出科研工作者在动作质量评价技术方面已经取得了一些显著成果. 然而, 当前的应用研究仍有不足之处, 尚存在许多值得深入探索和研究的内容. 通过本次综述, 本文也列举未来可能的研究重点和方向, 以期启发该领域学者对动作质量评价的进一步研究. 

1)更丰富的开放数据集 

随着深度学习技术的不断发展, 基于数据驱动的方法已经在动作质量评价任务中展现出巨大潜力, 数据集的规模、多样性和代表性对于模型性能至关重要. 近年来, 虽然已经发布了不少公开数据集用于动作质量评价任务的研究, 但相比人类庞大的动作库, 仍需要构建更丰富的公开数据集, 以促进该领域的进一步发展. 此外, 一个包含更多变化的大规模动作质量评价数据集能够更好地模拟现实情况, 为研究人员提供更具挑战性的问题. 然而, 现有的公开动作质量评价数据集仅仅针对有限的应用场景, 且数据规模较小. 因此, 针对特定的动作质量评价应用领域(如竞技体育或者运动康复领域)构建一个大规模动作质量评价数据集具有重要意义. 这样的数据集应拥有更多动作类别、涵盖丰富运动场景与环境, 并且包括各类表现水平的运动个体数据, 能够用于测试、比较和改进不同的动作质量评价方法, 从而推动该领域的发展. 在数据集构建过程中, 专家标注的准确性和一致性也至关重要. 通常情况下, 构建这样的动作质量评价数据库需要跨学科的协作, 融合计算机视觉、运动科学等领域的专业知识. 

2)领域专家指导的表示学习 

未来的研究应该进一步探索如何更好地利用领域知识, 从动作质量评价任务本身的特点出发, 实现更精细、准确的动作质量评价. 在动作特征表示时, 加强与运动学、运动控制学、运动康复等领域专家合作交流, 将运动相关领域的知识融入到动作特征提取过程中, 以更好地捕捉相关的特征信息. 此外, 考虑让多领域专家同时参与模型的设计和优化目标的定义过程, 以确保构建的模型能够更好地理解与动作质量相关的信息. 

3)实时性与移动应用 

随着移动设备的普及和计算能力的提高, 实现在线动作质量评价正变得切实可行. 在线实时系统能够为运动者提供即时反馈, 帮助他们在动作过程中纠正错误、调整姿势, 从而提高运动技能水平. 此外, 在运动过程中及时识别异常或错误的动作能够有效降低运动者受伤的风险, 特别是在高强度运动项目中显得尤为重要. 当前的研究工作多数建立在离线动作数据基础上, 主要对提前收集到的动作数据进行分析和评估. 这些方法通常更注重动作质量评价的准确性, 却忽略了评价的时效性. 因此, 在未来的研究中, 可以考虑致力于开发实时且便携式的动作质量评价系统, 以便及时地为运动者提供反馈和指导, 满足他们在动作执行过程中的质量评价需求. 

4)可解释的动作质量评价 

动作质量评价的可解释性[114]指的是对评价结果和决策的解释能力. 在动作质量评价任务中, 模型的可解释性能够清晰地解释为什么模型对于某个动作给出了特定的质量评价结果, 以及哪些因素影响了该结果的形成. 这种可解释性对于帮助运动者理解模型的决策、提高模型的可信度以及应用领域的可接受性都非常重要. 只有当运动者能够理解模型的评价基础和建议依据时, 他们才能更好地理解如何改善自己的动作、调整姿势或纠正问题. 此外, 这种可解释性有助于建立运动者的信任, 使得他们更愿意接受和遵循模型提供的建议, 从而提高运动技能、降低受伤风险或提高康复效果. 尽管当前各类动作质量评价模型层出不穷, 但多数模型仍然被当做黑盒模型使用, 理解和解释其内部机理仍然面临诸多困难和挑战. 因此, 在未来的工作中, 应更加重视相关模型的解释理论和方法的研究. 

作者简介

沈媛媛

北京体育大学体育工程学院讲师. 2020年获得中国科学院自动化研究所博士学位. 主要研究方向为智能体育与运动表现分析. 本文通信作者. E-mail: shenyuanyuan@bsu.edu.cn

张燕明

中国科学院自动化研究所副研究员. 2011年获得中国科学院自动化研究所博士学位. 主要研究方向为结构预测方法, 图神经网络, 概率图模型. E-mail: ymzhang@nlpr.ia.ac.cn

沈燕飞

北京体育大学体育工程学院教授. 2014年获得中国科学院大学博士学位. 主要研究方向为智能视频分析, 体育大数据, 智能体育装备. E-mail: syf@bsu.edu.cn