Chenfiona的个人博客分享 http://blog.sciencenet.cn/u/Chenfiona

博文

专题综述: 微手势识别的数据集、方法与挑战 | 哈尔滨工业大学(深圳)徐勇团队

已有 421 次阅读 2026-5-6 17:39 |个人分类:好文推荐|系统分类:论文交流

640.jpg

微手势识别近年来成为情感计算与人机交互领域的重要研究方向,旨在解析反映隐藏情绪的细微、无意识肢体动作。与刻意、表意性强且持续时间长的常规手势不同,微手势细微、自发且转瞬即逝,使其识别极具挑战性。随着多个公开数据集问世,微手势识别研究已取得显著进展。然而,现有综述大多聚焦于传统手势或面部微表情分析,针对微手势识别这一独立领域的系统性总结仍较为匮乏。本文首次对微手势识别方法展开全面综述,涵盖三大核心内容:1) 两种主流模态的数据集及其采集方案;2) 监督学习、无监督学习、对比学习、多模态融合及多模态大模型等各类识别方法;3) 长尾分布、跨数据集泛化、识别与情感理解融合等挑战。本文旨在为微手势识别领域提供研究综述与未来展望,推动该方向发展。相关成果已发表于《机器智能研究(英文)》2026年第2期"微视觉计算"专题中

项目地址:

https://github.com/timwang2001/Awesome_Micro_Gesture

题目.png

图片来自Springer

全文下载:

Micro-gesture Recognition: A Comprehensive Survey of Datasets, Methods, and Challenges

Taorui Wang, Xun Lin, Yong Xu, Qilang Ye, Dan Guo, Sergio Escalera, Ghada Khoriba, Zitong Yu

https://link.springer.com/article/10.1007/s11633-025-1629-x

https://www.mi-research.net/article/doi/10.1007/s11633-025-1629-x

全文导读

人类行为是内在情绪状态的重要外在表现,因此在情感计算与情感人工智能研究中具有基础性作用。语言交流传递的是显性信息,而面部表情、手势及肢体动作等非言语行为,往往能更直接、更真实地反映个体的潜在情绪。因此,行为分析为推断隐藏情绪提供了有效手段,尤其适用于人们不愿或无法明确表达自身感受的场景。

但需要注意的是,并非所有行为都同样显而易见或为有意识表达。在许多情况下,人们会主动压抑或掩饰自身情绪,刻意掩盖明显的外在行为表现。即便经过刻意抑制,一类被称为微手势的无意识细微行为仍有可能显现出来。“微手势” 这一术语最早出现在心理学研究中,用于辅助医生通过肢体手势诊断患者的心理状态。这类微手势虽转瞬即逝且常被忽视,却能为探究被压抑或隐藏的情绪状态提供极具价值的线索,也为借助行为分析深化人类情感理解开辟了极具潜力的研究方向。

以往针对手势的研究大多集中在示意性手势上,例如点头、挥手等,这类手势是人们为传递特定含义或情绪状态而刻意做出的动作。与之相对,微手势则属于一类截然不同的行为 。微手势与交际性手势有着本质区别,它通常是由内在情绪过程引发的非自主、潜意识反应。例如,人在压力下搓手这类细微动作,其主要作用是自我安抚、调节自身情绪状态,而非传递信息。

根据文献,手势可分为以下类别:

1) 本能性手势。这类手势被认为是与生俱来、由生理机制决定的。例如,点头表示肯定或赞同具有普遍性,即便先天失明的人也会自然做出这一动作。尽管本能性手势与微手势都可能具有先天属性,但二者的核心区别在于功能:本能性手势是普适性的生理信号,如点头、鼻孔扩张等;而微手势是转瞬即逝的行为表现,主要起到自我调节或自我保护作用,而非用于向他人传递交流信号。

2) 习得性手势。这类手势通过社会学习与早期生活经历逐步形成。例如,将头转向一侧表示拒绝,这一行为通常在婴儿时期便已习得。婴儿在吃饱母乳后会把头扭开,稍大的孩子在拒绝勺子喂来的食物时也会做出同样的转头动作。

3) 自然选择演化形成的手势。部分手势是生物为适应生存需求而逐步演化而来。例如,在进入战斗或逃跑应激状态前,人会扩张鼻孔以增加氧气吸入量,这一行为便是源于进化过程的适应性机制。

微表情具有自发性与非自主性,近年来受到越来越多的关注,因其能够有效揭示个体隐藏或被压抑的情绪状态。与为实现交流目的而有意识做出的象征性手势不同,微表情是在潜意识状态下产生的,往往反映出难以掩饰的真实情绪过程,如下图所示。因此,对微表情进行分析与识别,为深化人类情绪理解提供了一条极具前景的路径,尤其适用于言语线索与外显行为无法表露真实情感状态的场景。

图1.png

人类交流中情感线索的分类体系

非言语交际线索包括面部表情、肢体手势及其他细微信号。其中,微手势与微动作属于非自主、精细化的肢体运动,为解读隐藏情绪提供了关键依据。

尽管微手势在情绪推断方面极具潜力,但其精准识别仍面临巨大挑战。已有研究表明,特定类型的微手势与特定情绪状态密切相关,这意味着对这些细微行为的识别可用于构建自动化情绪识别系统。然而,微手势具有细微、转瞬即逝的特点,通常表现为强度低、持续时间短,且往往不易被察觉,这给有效分类带来了极大困难。这些特性使得微手势极易被人类观察者和深度学习模型所忽略,因此迫切需要更精细的识别技术,以捕捉这类短暂且非自主的行为信号。

本文全面综述了微手势识别与基于微手势的情绪分类领域的最新研究进展。第2节首先介绍微手势识别的基本概念,包括其心理学基础及其在情感计算中的重要意义。第3节进一步阐述微手势与情绪表征之间的关联。第4节梳理并总结了现有的微手势数据集与评测基准。随后,第5节详细综述近年来的研究方法,涵盖监督学习与无监督学习两大类,并重点分析各类方法的优势、局限及适用场景。最后,第6节对当前微手势识别方法展开讨论,对比不同学习范式与模态下算法的优缺点;同时探讨微手势研究中涉及的广泛文化差异与伦理问题,以及基于微手势识别的情绪理解应用。

作者1.jpg

作者2.jpg

全文下载:

Micro-gesture Recognition: A Comprehensive Survey of Datasets, Methods, and Challenges

Taorui Wang, Xun Lin, Yong Xu, Qilang Ye, Dan Guo, Sergio Escalera, Ghada Khoriba, Zitong Yu

https://link.springer.com/article/10.1007/s11633-025-1629-x

BibTex:

@Article {MIR-2025-09-543,

author={Taorui Wang, Xun Lin, Yong Xu, Qilang Ye, Dan Guo, Sergio Escalera, Ghada Khoriba, Zitong Yu},

journal={Machine Intelligence Research},

title={Micro-gesture Recognition: A Comprehensive Survey of Datasets, Methods, and Challenges},

year={2026},

volume={23},

issue={2},

pages={308-330},

doi={10.1007/s11633-025-1629-x}}

特别感谢本文第一作者、大湾区大学王韬睿博士对以上内容的审阅和修改!

纸刊免费寄送

Machine Intelligence Research

MIR为所有读者提供免费寄送纸刊服务,如您对本篇文章感兴趣,请点击下方链接填写收件地址,编辑部将尽快为您免费寄送纸版全文!

说明:如遇特殊原因无法寄达的,将推迟邮寄时间,咨询电话010-82544737

收件信息登记:

https://lcn76mgd97vz.feishu.cn/share/base/form/shrcnsQ6cmRjqoxPF5WDowSBFVr

关于Machine Intelligence Research

Machine Intelligence Research(简称MIR)由中国科学院自动化研究所主办,于2022年正式出版。MIR立足国内、面向全球,着眼于服务国家战略需求,刊发机器智能领域最新原创研究性论文、综述、评论等,全面报道国际机器智能领域的基础理论和前沿创新研究成果,促进国际学术交流与学科发展,服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划",已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等20余家国际数据库收录,入选图像图形领域期刊分级目录-T2级知名期刊。2022年首个CiteScore分值在计算机科学、工程、数学三大领域的八个子方向排名均跻身Q1区,最佳排名挺进Top 4%,2023年CiteScore分值继续跻身Q1区。2024年获得首个影响因子(IF) 6.4,位列人工智能及自动化&控制系统两个领域JCR Q1区;2025年发布的最新影响因子达8.7,继续跻身JCR Q1区,最佳排名进入全球第6名;2026年进入期刊分区表1区。



https://blog.sciencenet.cn/blog-749317-1533616.html

上一篇:大湾区大学余梓彤团队 | 专题综述: 多模态欺骗检测
下一篇:MGMILA: 面向微手势识别的Eulerian运动感知多实例学习注意力模型 | 芬兰LUT大学刘鑫教授团队
收藏 IP: 159.226.179.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2026-5-30 06:30

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部