Chenfiona的个人博客分享 http://blog.sciencenet.cn/u/Chenfiona

博文

美国蒙莫斯大学:基于深度学习的手势识别及无人机控制

已有 220 次阅读 2019-10-21 16:16 |个人分类:好文推荐|系统分类:论文交流

​手势识别研究吸引了世界上越来越多学者的关注。除了应用于日常生活中,手势识别也开始进入虚拟现实、医疗系统、教育、通信系统、游戏、移动设备、汽车等领域。9月,IJAC在线发表了来自美国蒙莫斯大学青年学者Hu Bin和终身教授Wang Jiacun的研究成果:基于深度学习的手势识别及无人机控制。该研究尝试将深度学习方法应用于动态手势识别中,旨在控制无人机。相较以往研究,本研究是首个将Leap Motion控制器作为输入设备应用于基于深度学习网络的手势识别中的研究。


Deep Learning Based Hand Gesture Recognition and UAV Flight Controls
Bin Hu, Jiacun Wang
1)SpringerLink:
https://link.springer.com/article/10.1007/s11633-019-1194-7
2)IJAC URL:

http://www.ijac.net/en/article/doi/10.1007/s11633-019-1194-7





当前有三种手势识别技术:基于数据手套的手势识别(data glove based)、基于视觉的手势识别(vision based)以及基于雷达的手势识别(radar based)。数据手套是一种交互设备,外形与手套类似,可应用于机器人及虚拟现实领域,以实现触觉控制和微动控制(tactile sensing and fine-motion control)。传感器的输出能够用来控制视频游戏、音乐及其他视觉娱乐活动。这一技术的优势在于无需从背景中提取手势,但由于整套设备成本高、需要校准、过于笨重、不易携带,因此相较于基于视觉的手势识别系统而言,应用范围并不广。


基于雷达的手势识别技术是通过向目标发射无线电波(radio wave),雷达接收端再拦截目标的反射能(reflected energy)来识别手势。雷达波(radar waves)遇到人手后会反弹回接收端,并反映出变化的人手形状及运动轨迹。这一技术还处于研发阶段,其中发展前景较好的有谷歌的Soli手势传感器,该项技术已于2019年1月获美国政府批准。


另一方面,基于视觉的识别方法也发展迅速。实验对象无需携带设备,能以更自然的状态做出手势。早期的研究大多使用彩色摄像机(color cameras)来搭建手势识别系统,而现在的识别系统,如微软Kinect、Leap Motion控制器、因特尔RealSense通常采用深度图像(depth images)作为模态(modality)。


Leap Motion控制器是一个小型的USB口设备(USB powered device),通过2个单色红外摄像头(monochromatic infrared cameras)及3个红外发光二极管(three infrared LEDs)来追踪半径为1米的3D空间里(1m hemispherical 3D space)的手及手指的运动轨迹。整套设备成本低,使用者能像在现实生活中一样自由做出手势,深度传感器(depth sensors)可实时捕捉外界任何光线条件下(any ambient lighting)的动作视频并输出骨骼数据(skeletal data)。此外,无论是简单的手部移动,还是复杂的手部形状变化,Leap Motion控制器都能识别。因此,Leap Motion控制器是当前应用最广泛的手势识别摄像机之一。本文的研究也将Leap Motion控制器作为数据输入设备。


手势可分为静态姿势(static postures)和动态手势(dynamic gestures),本研究主要集中于动态手势


多数静态姿势识别研究采用基于神经网络的方法(neural-network-centered approaches)。对于动态手势识别而言,最常用的方法是通过时空序列(spatiotemporal sequences)来描述手势(represent gestures)。自Starber和Pentland开始使用隐马尔可夫模型(hidden Markov models)后,该模型就发展为手势识别的常用方法。


一些研究还采用了其他方法,如隐条件随机场(hidden conditional random fields)、自回归模型(autoregressive models)、模糊逻辑(fuzzy-logic)、卡尔曼滤波(Kalman-filtering)、支持向量机(support vector machines)以及递归神经网络(recurrent neural networks)。


作为机器学习的一个分支,深度学习模型因其强大的学习及分类能力,迅速吸引了学术界及工业界的关注。许多研究领域,如语音识别、计算机视觉、自然语言处理等,都应用了这一技术。近年来,最重要的神经网络之一---卷积神经网络(convolutional neural network),在完成手势识别任务时表现出优良性能。


本文尝试将深度学习方法应用于动态手势识别中,旨在控制无人机。本文构建了一个数据模型,通过将4D时空数据(4-D spatiotemporal data)转换成2D矩阵(2-D matrix)和1D阵列(1-D array)来描述动态手势序列(dynamic gesture sequence)。为了对比择优,研究人员设计了2个完全连接的神经网络和1个卷积神经网络,以及2个用以训练和测试神经网络的数据模型。基于深度学习神经网络,本文还搭建了一套软件系统(software system)。相较以往研究,本文是首个将Leap Motion控制器作为输入设备应用于基于深度学习网络的手势识别中的研究。


本文结构如下:第二部分介绍了深度学习的基本概念;第三部分概览了手势识别系统、Leap Motion控制器和无人机的研究与发展;第四部分介绍了用于本文系统中的手势及数据集;第五部分集中于深度学习网络,即本文所提系统的核心;第六部分讨论了神经网络训练及测试结果;第七部分提出了一些对未来研究的建议。


Fig. 4.jpg

本文所提系统中包含了3个组成部分:手势输入组件、深度学习神经网络组件、无人机控制组件,如上图所示。


Fig. 7.jpg

Fig.8.jpg

Fig.9.jpg

Fig.10.jpg

图7-图10(来自论文)


研究者设计、训练、测试了3个不同的神经网络,如图7所示,包括两层完全连接的网络,五层完全连接的网络以及八层卷积网络。图8至图10分别介绍了这三种网络的结构,表2至表4是其高层级设计。


Table 2.jpg

Table 3.jpg

Table 4.jpg

表2-表4(来自论文)



Deep Learning Based Hand Gesture Recognition and UAV Flight Controls

Bin Hu, Jiacun Wang

1)SpringerLink:

https://link.springer.com/article/10.1007/s11633-019-1194-7

2)IJAC URL:

http://www.ijac.net/en/article/doi/10.1007/s11633-019-1194-7


特别感谢论文第二作者王加存教授对以上内容的审阅与修改!



RECOMMEND

最优质的论文

自动化所陶建华团队: 基于真实环境的面部表情分析

【最新热文】11篇好文在线读

陶建华团队:基于半监督梯形网络的语音情感识别

五大会议、人气好文!

【特别策划】聚焦全球、优质成果

【综述】美外籍院士Brian Anderson: 社交网络中舆论动力学研究进展

AI复原”美男学霸”,一文综述背后神算法

特约综述+最新研究,好文云集!

【热门精选】五大方向、经典论文

帝国理工学院:自然语言处理中大数据的智能收集与分析

【全文免费】国内外特约综述&优质论文

英国克兰菲尔德大学: 用于故障监测与诊断的全新多层分析算法

公共安全新卫士: 人群异动自动监测系统

【院士特辑】猪福派送,猪多好文!

【新年大礼】IJAC新网站下起红包雨!

【综述专栏】实现产品研发“众包”的框架、关键技术及挑战

【新年精选】新晋IEEE Fellow文章集锦

【综述集锦】两年精选综述,都在这里!

【综述专栏】中科院自动化所杜清秀:基于微惯性技术的行人航迹推演系统研究现状

拉夫堡大学陈文华:精准农业中分类问题的研究

【专题好文】应用于服务机器人的全新语义认知算法

【综述专栏】应用于智能微型机器人的软件系统

【特约专题】先进机器人的智能控制与计算

【综述专栏】华盛顿大学陈一昕: 深度学习在健康检测数据中的应用



最受欢迎的干货

科研神网站,免费的!

【新学期必备】AI学习全路线资源分享

【国庆双彩】秋招算法面经+院士AI新书

【资源共享】9大类186组公开数据集

复杂公式转LaTex:一张图片,三步搞定!

【线上课堂】Endnote使用大全

如何提升科研成果影响力

提升科研效率的几款小工具

如何找到科研金点子?

2019年国际会议参考列表

【最新资讯】2018全球工程前沿报告

一张图帮你界定AI

【论文助手】写好摘要的6个诀窍

IEEE给您的8条办会建议

【主编报告】如何写好一篇学术论文?

Nature社论:论文提笔前,编辑给你的小建议

投稿小心机:别再放过cover letter!

Science:没时间写论文?这么办!

【IJAC支招】Poster=PPT?NO!

【同行评议】如何撰写审稿报告?

【同行评议】优秀论文背后的“伯乐”们


更多精彩内容,欢迎关注

1) IJAC官方网站:

http://link.springer.com/journal/11633

http://www.ijac.net

2) Linkedin: Int. J. of Automation and Computing

3) 新浪微博: IJAC-国际自动化与计算杂志

4) Twitter: IJAC_Journal

5) Facebook: ijac journal

关于杂志或文章,您有任何意见或建议,欢迎后台留言或私信小编

本文编辑:欧梨成


点击"此处"下载全文



http://blog.sciencenet.cn/blog-749317-1202871.html

上一篇:【最新热文】11篇好文在线读
下一篇:Top5%!IJAC连续8年登榜国际影响力品牌学术期刊

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-11-19 13:45

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部