引用本文

粟傈, 杨帆, 王向禹, 郭川东, 童良乐, 胡权. 基于事件相机的机器人感知与控制综述. 自动化学报, 2022, 48(8): 1869−1889 doi: 10.16383/j.aas.c210263

Su Li, Yang Fan, Wang Xiang-Yu, Guo Chuan-Dong, Tong Liang-Le, Hu Quan. A survey of robot perception and control based on event camera. Acta Automatica Sinica, 2022, 48(8): 1869−1889 doi: 10.16383/j.aas.c210263

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210263

关键词

事件相机，延迟低，机器人控制，感知与运动，新型控制算法 

摘要

事件相机作为一种新型动态视觉传感器, 通过各个像素点独立检测光照强度变化并异步输出“事件流”信号, 具有数据量小、延迟低、动态范围高等优秀特性, 给机器人控制带来新的可能. 本文主要介绍了近年来涌现的一系列事件相机与无人机、机械臂和人形机器人等机器人感知与运动控制结合的研究成果, 同时聚焦基于事件相机的控制新方法、新原理以及控制效果, 并指出基于事件相机的机器人控制的应用前景和发展趋势.

文章导读

近年来, 类似无人机、机械臂等机器人系统在各个领域(如消防安防、植保农业、工厂制造等)得到日益广泛的应用, 四足机器人、人形机器人等系统也成为机器人领域的研究热点; 可以预见机器人系统将在未来的智能制造、工业4.0革命中发挥愈发突出的作用. 上述机器人系统均为结构复杂、高度集成的机电系统, 系统的运动规划和控制常依赖对所在环境和目标的感知测量. 目前大部分的无人机、机械臂均采用传统的帧相机作为感知器件, 但是, 帧相机具有固有的高数据量、低时间分辨率、高延迟等特点, 对快速运动的物体感知能力较弱, 极大地限制了机器人的操控能力.

在此背景下, 一种基于生物视觉成像原理的神经形态传感器——事件相机受到机器人领域学者的关注, 将其与机器人感知和控制结合, 涌现出一批突破传统帧相机限制的机器人控制成果. 本文从事件相机的基本原理开始, 依次综述事件相机与无人机、机械臂、人形机器人结合的最新成果, 并介绍在控制方法上, 结合事件相机特性的控制技术最新发展, 以期对这一快速发展的领域提供参考. 本文结构图如图1所示.

图 1  本文结构图

图 3  DVS原理图

图 7  无人机垂直降落实验装置

事件相机与传统帧相机具有完全不同的工作机理, 具有数据量小、延迟低、动态范围高的特点, 因此将其置于机器人控制回路的闭环之中, 降低了测量、感知环节的延迟和数据量. 本文介绍了事件相机在无人机、机械臂、人形机器人等机器人系统中感知与控制的最新工作以及结合事件相机发展的新型控制算法, 技术发展脉络如图18所示, 图中横轴对应感知部分技术, 主要分为两大类: 一类(负横轴)先将事件相机采集的事件流数据对应成事件帧, 可尝试利用图像处理方法解决高速、高动态的应用场景问题. 另一类(正横轴)则根据事件相机采集数据自身特点直接设计新的事件流处理算法, 如基于异步事件流的活跃事件表面; 纵轴对应控制部分技术也分为两大类, 包括基于目标特征的运动规划与控制的传统算法(正纵轴), 以及充分考虑事件相机异步事件流特性的新型控制算法(负纵轴), 代表如SNN. 目前的研究根据上述技术分类组合可得到四条主流技术路线, 但是仍处于起步阶段, 主要存在的问题和发展方向有:

1) 视觉系统是机器人完成跟踪、抓取以及操作的关键基础, 而目前基于事件的视觉算法难以满足复杂环境下物体检测、跟踪与识别任务的要求. 例如当事件相机随机器人(如无人机、机械臂末端等)运动时, 输出的数据包括静止物体、运动物体产生的事件以及噪声事件, 从这些杂乱的事件数据中提取可用的目标信息是一大难点. 因此, 有必要进一步研究基于事件的运动分割技术以及基于机器/深度学习的目标检测与识别技术.

2) 目前在结合事件相机的机器人控制系统中, 视觉模块的延迟占比较高, 为进一步提升机器人操控的灵活性, 有必要根据事件相机特性设计更加快速高效的视觉模块. 例如, 可深挖事件流的异步特性并开发异步、超低延迟的特征检测与跟踪算法. 另外, 随着近年来事件相机分辨率的不断提升, 在计算效率方面视觉算法将面临更多挑战.

3) 目前在结合事件相机的机器人控制系统中, 控制器设计较为简单. 由于事件相机对光照变化较为敏感, 可能产生包含大量噪声事件的视觉信号, 而这些噪声的不确定性将很容易影响控制系统的性能, 因此有必要进一步研究新型的控制算法, 以实现基于事件相机的机器人稳定控制. 同时, 也需要研究噪声事件的产生机理, 这将有助于去噪算法的设计以及控制器分析.

4) 目前结合事件相机的机器人控制系统仍依赖传统机器人的控制流程, 如首先进行视觉特征的检测跟踪, 再进行期望轨迹规划与轨迹跟踪等, 并没有发挥出事件相机神经形态与高时间分辨率的特点. 理论上, 事件相机与脉冲神经网络具有自然的适配性, 研究有效的脉冲神经网络训练方法, 以实现端到端的控制指令生成, 具有一定的研究意义.

综上, 在未来的研究中, 建议充分利用事件相机输出的异步事件流的特性, 设计低延迟、低计算量的视觉处理算法, 研究新型的控制算法以及研究事件相机与脉冲神经网络结合的方法以实现机器人的灵活与智能操控.

作者简介

粟傈

首都师范大学信息工程学院讲师. 分别于2011年和2017年获得北京航空航天大学学士和博士学位. 2013年 ~ 2015年为在法国南巴黎大学联合培养的博士研究生. 主要研究方向为类脑计算和机器人感知与控制. 本文通信作者. E-mail: li.su@cnu.edu.cn

杨帆

首都师范大学信息工程学院硕士研究生. 主要研究方向为基于事件相机的目标检测. E-mail: yangfannie@cnu.edu.cn

王向禹

首都师范大学信息工程学院硕士研究生. 主要研究方向为基于事件相机的目标识别与跟踪. E-mail: wangxiangyu@cnu.edu.cn

郭川东

北京理工大学宇航学院博士研究生. 主要研究方向为复杂柔性航天器动力学、测量与控制. E-mail: guochuandong@bit.edu.cn

童良乐

首都师范大学信息工程学院硕士研究生. 主要研究方向为类脑器件与电路设计. E-mail: kytll2021@163.com

胡权

北京理工大学宇航学院副教授. 分别于2009年和2014年获北京航空航天大学学士和博士学位. 主要研究方向为多体系统动力学, 空间机器人感知与控制. E-mail: huquan@bit.edu.cn