博文
眼动跟踪研究进展与展望
|
引用本文
苟超, 卓莹, 王康, 王飞跃. 眼动跟踪研究进展与展望. 自动化学报, 2022, 48(5): 1173−1192 doi: 10.16383/j.aas.c210514 Gou Chao, Zhuo Ying, Wang Kang, Wang Fei-Yue. Research Advances and Prospects of Eye Tracking. Acta Automatica Sinica, 2022, 48(5): 1173−1192 doi: 10.16383/j.aas.c210514 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210514?viewType=HTML 文章简介 关键词 眼动跟踪, 人眼检测, 视线估计, 注意力分析 摘 要 眼动跟踪是指自动检测瞳孔中心位置或者识别三维视线方向及注视点的过程, 被广泛应用于人机交互、智能驾驶、人因工程等. 由于不同场景下的光照变化、个体眼球生理构造差异、遮挡、头部姿态多样等原因, 眼动跟踪的研究目前仍然是一个具有挑战性的热点问题. 本文根据作者多年来的研究与积累, 针对眼动跟踪领域,首先概述眼动跟踪研究内容; 然后分别论述近年来瞳孔中心检测及视线估计领域的国内外研究进展; 综述目前眼动跟踪主要数据集、评价指标及研究成果; 接着介绍眼动跟踪在人机交互、智能驾驶等领域的应用; 最后对眼动跟踪领域的未来发展趋势进行展望. 引 言 人类获取信息很大程度上依赖于人眼感知的视觉信息, 人眼被称为心灵的窗户, 在人的自然交互中有着重要的意义, 它能感知周围环境、表现人的注意力、传达个人的情感等. 因此, 眼动跟踪被广泛研究与应用. 眼动跟踪任务及应用示例如图1所示. 眼动跟踪一般是指自动检测人眼瞳孔相对位置或者估计视线方向的过程. 如图1(a) 所示,眼动能描述瞳孔的动态变化,能直观地反映人的注视点和注视时间, 对于描述人类视觉感知过程与特点、重现个体基本认知加工过程有重要意义. 其被广泛应用于人机交互感知、智能驾驶座舱、情感计算、意图分析等, 如图1(b) 所示. 由于环境光照的多变、个体眼球生理特性的差异、头部姿态的动态变化等, 眼动跟踪估计仍然是一个具有挑战的热点研究问题. 眼动跟踪的研究可以追溯到20世纪初, 研究人员采用了接触式的眼动跟踪方法, 通过在眼睛周围放置成对电极的眼电图分析, 或者基于线圈嵌入式的巩膜搜索方法来获取并分析眼动信息, 在20世纪50年代有了第一部记录基于飞行员瞳孔跟踪及视线分析的控制飞机操作应用系统的视频资料, 在60年代头戴式眼动跟踪得到发展, 在90 年代视线估计方面开始使用计算机进行计算处理控制, 近年来, 随着计算机视觉、图形学、人工智能等新兴技术的发展以及应用需求的增加, 非接触式的基于视频图像的眼动跟踪引起了学术界和工业界大量深入研究. 图 1 眼动跟踪及应用示例 ((a) 眼动追踪任务示例; (b) 眼动追踪应用示例) 本文根据作者多年来眼动跟踪领域的研究基础与积累, 详细综述该领域的研究进展, 并对未来发展趋势进行展望. 第1节整体概述眼动跟踪技术的发展. 第2、3节分别阐述人眼瞳孔检测、视线方向与注视点的估计方法研究进展, 重点阐述基于图像的眼动跟踪研究进展及相关的数据集. 第4节综述相关数据集及性能比较方法. 第5节介绍相关应用. 第6节对眼动跟踪的未来发展趋势进行展望. 图 7 三维眼球模型及视线估计 图 12 根据用户眼动自动调整画面的智能展板 图 13 基于注视点的驾驶注意力分析 作者简介 苟 超 中国科学院大学人工智能学院博士, 美国伦斯勒理工大学电子、计算机与系统工程学院联合培养博士, 中山大学智能工程学院助理教授.主要研究方向为计算机视觉和机器学习. 本文通信作者. E-mail: gouchao@mail.sysu.edu 卓 莹 中山大学智能工程学院在读研究生. 2019年获西南交通大学交通运输与物流学院学士学位. 主要研究方向为视线估计. E-mail: zhuoy8@mail2.sysu.edu.cn 王 康 英伟达高级算法工程师. 2019年获得美国伦斯勒理工大学电子信息与计算专业博士学位.主要研究方向为自动驾驶相关的视觉算法. E-mail: kangwang.kw@gmail.com 王飞跃 中国科学院自动化研究所复杂系统管理与控制国家重点实验室主任, 国防科技大学军事计算实验与平行系统技术研究中心主任, 中国科学院大学中国经济与社会安全研究中心主任, 青岛智能产业技术研究院院长.主要研究方向为平行系统的方法与应用, 社会计算, 平行智能和知识自动化. E-mail: feiyue.wang@ia.ac.cn 相关文章 [1] 陈芳, 张道强, 廖洪恩, 赵喆. 基于序列注意力和局部相位引导的骨超声图像分割网络. 自动化学报. doi: 10.16383/j.aas.c210298 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210298?viewType=HTML [2] 宋燕, 王勇. 多阶段注意力胶囊网络的图像分类. 自动化学报. doi: 10.16383/j.aas.c210012 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210012?viewType=HTML [3] 林泓, 任硕, 杨益, 张杨忆. 融合自注意力机制和相对鉴别的无监督图像翻译. 自动化学报, 2021, 47(9): 2226-2237. doi: 10.16383/j.aas.c190074 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190074?viewType=HTML [4] 刘佳惠, 迟健男, 尹怡欣. 基于特征的视线跟踪方法研究综述. 自动化学报, 2021, 47(2): 252-277. doi: 10.16383/j.aas.c180844 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180844?viewType=HTML [5] 暴琳, 孙晓燕, 巩敦卫, 张勇. 融合注意力机制的增强受限玻尔兹曼机驱动的交互式分布估计算法. 自动化学报. doi: 10.16383/j.aas.c200604 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200604?viewType=HTML [6] 张亚茹, 孔雅婷, 刘彬. 多维注意力特征聚合立体匹配算法. 自动化学报. doi: 10.16383/j.aas.c200778 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200778?viewType=HTML [7] 肖进胜, 申梦瑶, 江明俊, 雷俊峰, 包振宇. 融合包注意力机制的监控视频异常行为检测. 自动化学报. doi: 10.16383/j.aas.c190805 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190805?viewType=HTML [8] 王金甲, 纪绍男, 崔琳, 夏静, 杨倩. 基于注意力胶囊网络的家庭活动识别. 自动化学报, 2019, 45(11): 2199-2204. doi: 10.16383/j.aas.c180721 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180721?viewType=HTML [9] 金侠挺, 王耀南, 张辉, 刘理, 钟杭, 贺振东. 基于贝叶斯CNN和注意力网络的钢轨表面缺陷检测系统. 自动化学报, 2019, 45(12): 2312-2327. doi: 10.16383/j.aas.c190143 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190143?viewType=HTML [10] 熊春水, 黄磊, 刘昌平. 一种新的单点标定视线估计方法. 自动化学报, 2014, 40(3): 459-470. doi: 10.3724/SP.J.1004.2014.00459 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.00459?viewType=HTML [11] 冯欣, 杨丹, 张凌. 基于视觉注意力变化的网络丢包视频质量评估. 自动化学报, 2011, 37(11): 1322-1331. doi: 10.3724/SP.J.1004.2011.01322 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.01322?viewType=HTML [12] 张闯, 迟健男, 张朝晖, 王志良. 视线追踪系统中眼睛跟踪方法研究. 自动化学报, 2010, 36(8): 1051-1061. doi: 10.3724/SP.J.1004.2010.01051 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2010.01051?viewType=HTML [13] 王智灵, 陈宗海, 徐萧萧, 吴亮. 基于蛙眼视觉特性的运动目标模糊化区域理解跟踪方法. 自动化学报, 2009, 35(8): 1048-1054. doi: 10.3724/SP.J.1004.2009.01048 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2009.01048?viewType=HTML [14] 马红雨, 苏剑波. 基于自抗扰控制器的机器人无标定三维手眼协调. 自动化学报, 2004, 30(3): 400-406. http://www.aas.net.cn/cn/article/id/16332?viewType=HTML [15] 苏剑波, 邱文彬. 基于自抗扰控制器的机器人无标定手眼协调. 自动化学报, 2003, 29(2): 161-167. http://www.aas.net.cn/cn/article/id/14651?viewType=HTML [16] 潘且鲁, 苏剑波, 席裕庚. 眼在手上机器人手眼无标定三维视觉跟踪. 自动化学报, 2002, 28(3): 371-377. http://www.aas.net.cn/cn/article/id/15647?viewType=HTML [17] 潘且鲁, 苏剑波, 席裕庚. 基于神经网络的机器人手眼无标定平面视觉跟踪. 自动化学报, 2001, 27(2): 194-199. http://www.aas.net.cn/cn/article/id/16462?viewType=HTML [18] 谭营, 邓超. 暂态混沌神经网络在人眼运动机制模拟中的应用. 自动化学报, 1999, 25(1): 133-137. http://www.aas.net.cn/cn/article/id/16744?viewType=HTML [19] 王兴贵, 谈大龙, 吴镇炜, 张春杰. 动基座机器人的末端受限鲁棒跟踪控制. 自动化学报, 1997, 23(4): 524-528. http://www.aas.net.cn/cn/article/id/16978?viewType=HTML [20] 陈凌育, 孙复川, L.Stark. 辨识阅读眼动注视点参数的级联神经网络. 自动化学报, 1997, 23(4): 489-495. http://www.aas.net.cn/cn/article/id/16971?viewType=HTML 
https://blog.sciencenet.cn/blog-3291369-1335170.html
上一篇：电熔镁砂熔炼过程电极电流饱和约束一步最优控制
下一篇：《自动化学报》多名作者入选爱思唯尔2021中国高被引学者
