引用本文

万琴, 李智, 李伊康, 葛柱, 王耀南, 吴迪. 基于改进YOLOX的移动机器人目标跟随方法. 自动化学报, 2023, 49(7): 1558−1572 doi: 10.16383/j.aas.c220344

Wan Qin, Li Zhi, Li Yi-Kang, Ge Zhu, Wang Yao-Nan, Wu Di. Target following method of mobile robot based on improved YOLOX. Acta Automatica Sinica, 2023, 49(7): 1558−1572 doi: 10.16383/j.aas.c220344

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220344

关键词

移动机器人，YOLOX，重识别，目标跟随 

摘要

针对移动机器人在复杂场景中难以稳定跟随目标的问题, 提出基于改进YOLOX的移动机器人目标跟随方法, 主要包括目标检测、目标跟踪以及目标跟随三个部分. 首先, 以 YOLOX 网络为基础, 在其框架下将主干网络采用轻量化网络 MobileNetV2X, 提高复杂场景中目标检测的实时性. 然后, 通过改进的卡尔曼滤波器获取目标跟踪状态并采用数据关联进行目标匹配, 同时通过深度直方图判定目标发生遮挡后, 采用深度概率信息约束及最大后验概率(Maximum a posteriori, MAP)进行匹配跟踪, 确保机器人在遮挡情况下稳定跟踪目标. 再采用基于视觉伺服控制的目标跟随算法, 当跟踪目标丢失时, 引入重识别特征主动搜寻目标实现目标跟随. 最后, 在公开数据集上与具有代表性的目标跟随方法进行了定性和定量实验, 同时在真实场景中完成了移动机器人目标跟随实验, 实验结果均验证了所提方法具有较好的鲁棒性和实时性.

文章导读

移动机器人在安防、物流和医疗等领域应用广泛[1-2], 其中机器人目标跟随算法引起了广泛关注, 但移动机器人目标跟随算法的鲁棒性和实时性仍是亟待解决的关键问题[3-4].

机器人目标跟随算法分为生成式模型方法和检测跟踪方法两大类[5-6]. 生成式模型主要通过构建目标模型实现跟随, 如Yoshimi等[7]利用视觉传感器获取行人颜色和纹理特征, 机器人在视野范围内寻找与之相匹配的区域, 融合行人与位置速度信息构建模型, 采用基于生成式的目标跟踪算法跟随行人. 然而, 此类算法关注目标本身, 忽略背景信息, 经常出现跟踪丢失的情况.

为同时考虑目标与背景信息, 检测跟踪方法得到了越来越多的关注, 此方法通过构建分类器区分目标及背景, 其跟踪效果普遍优于生成式模型方法. 余铎等[3] 通过快速判别尺度空间切换相关滤波算法与卡尔曼滤波算法实现稳定跟踪. 另外, 移动机器人在跟随控制过程中常受到背景杂斑、光照变化、目标遮挡、尺度变化等干扰, 导致跟随目标丢失. 因此传统的检测跟踪方法不适用于移动机器人在复杂多变场景中的目标跟随[2].

基于深度学习的移动机器人目标跟随算法具有鲁棒性强等优势[8]. Zhang等[9] 通过基于目标轮廓带采样策略来提高移动机器人跟踪性能, 但未对遮挡、行人消失等情况进行处理. Pang等[10] 提出一种基于深度学习的目标检测器, 引入卡尔曼滤波来预测目标位置, 加入重识别模块处理遮挡问题, 但此类算法需先获取精度较高的目标检测结果. 鉴于上述问题, JDE (Jointly learns the detector and embedding model)检测模型可用来融合重识别与检测分支[11], 提高目标检测精度. YOLO (You only look once) 系列算法则是一类基于JDE检测模型的一阶段框下的目标检测算法, 具有高效、灵活和泛化性能好的优点.

YOLO算法包括了YOLOV1 ~ YOLOV7系列算法以及一系列基于改进YOLO的目标检测算法. Redmon等[12] 提出YOLO算法进行目标检测, 直接采用回归的方法进行坐标框的检测以及分类, 使用一个端到端的简单网络实现坐标回归与分类, 能够极大地提升目标的检测速度. 此后, YOLO的网络结构不断优化, 已经成为目标检测领域主流的算法. Hsu等[13]引入比率感知机制, 动态调整YOLOV3的输入层长度和宽度超参数, 从而解决了长宽比差异较大的问题, 能够有效地提高平均跟踪精度. Huang等[14] 引入改进的YOLOV3模型, 此模型将预测尺度从3个增加到4个, 并使用额外的特征图来提取更多的细节. YOLOV3的目标位置识别精度较差, 在目标分布密集、尺寸差异较大的复杂场景中, 检测效果较差. YOLOV4[15] 开发了Darknet53目标检测模型, 此模型具有更高的网络输入分辨率, 网络层参数多, 计算复杂度高, 对小目标检测效果较差. 对此, YOLO-Z[16] 提出了一系列不同尺度的模型, 提高YOLOV5检测小目标的性能. Cheng等[17]提出一种单阶段SSD (Single shot multibox detector) 微小目标检测方法, 此方法可提高微小目标检测的实时性, 但其使用的两阶段式目标检测器使目标定位精度有所下降. YOLOV6[18]设计了更高效的主干网络和网络层. YOLOV7[19]扩展了高效长程注意力网络, 加入了基于级联的模型缩放方法, 均可一定程度提高检测精度和推理效率, 但由于未引入重识别分支, 无法提取浅层特征用于后续跟踪. YOLOX[20]在YOLO系列的基础上做出了一系列改进, 相比于YOLO系列目标检测算法, 其最大的不同是采用了无锚框检测器. 而YOLOV1 ~ YOLOV5采用有锚框的检测器, 由于可能会被多个锚框同时检测且与检测框中心存在误差, 并不适用于JDE检测模型. 因此, 采用无锚框的YOLOX目标检测算法更加适合于JDE检测模型.

移动机器人检测与跟踪跟随目标的核心问题是其在运动过程中, 复杂场景干扰影响其检测精度以及跟随性能. YOLOX以Darknet53网络结构为主干, 有较高的检测精度, 但模型较大、推理速度较慢, 不适用于移动机器人实时跟随. 在YOLOV5的网络模型中, 虽然网络的特征提取能力随着深度的增加而增强, 但下采样次数的增加会导致梯度的消失, 这极大影响了移动机器人的检测精度[21]. 为了提升移动机器人的检测精度, DeepSORT目标跟踪算法[22]采用卡尔曼滤波更新目标位置, 并与当前检测目标关联匹配, 但未解决因遮挡跟踪造成的目标丢失问题. Han等[23]提出PSR (Peak side-lobe rate) 目标跟踪算法, 引入深度信息来评估跟踪可信度, 并可主动检测跟踪丢失目标. 但其采用相关滤波法实现目标跟踪, 在复杂场景下的跟踪鲁棒性低. 可见, 改进网络结构的同时引入深度信息, 是提升移动机器人检测跟随性能的一种亟待探索的方法.

综上所述, 基于YOLO系列的移动机器人目标跟随算法的鲁棒性强且精度高, 但对于变化环境迁移和泛化能力弱, 且运行速率低. 传统移动机器人目标跟随算法速度快, 但是当目标发生形变、尺度变化和严重遮挡等情况时, 跟踪过程容易出现目标跟踪丢失. 因此, 为实现复杂场景下移动机器人稳定跟随目标, 本文提出改进YOLOX的移动机器人目标跟随方法(Improved YOLOX target-following algorithm, IYTFA). 主要工作如下:

1)为提高目标检测精度和速度, 提出基于YOLOX-MobileNetV2X网络 (YOLOX-M2X) 的目标检测算法, 使用交叉熵损失、回归损失以及重识别损失函数, 共同训练检测与重识别分支.

2)为提高目标预测与更新速率, 采用改进的卡尔曼滤波器获取目标跟踪状态. 同时加入基于深度直方图的遮挡检测机制, 并通过深度概率约束帧间目标匹配, 提高遮挡跟踪准确率.

3)在目标跟随过程中, 提出基于视觉伺服控制的主动搜寻策略, 并在目标消失时引入重识别特征进行跟踪跟随, 保证移动机器人稳定跟随目标.

本文内容安排如下: 第1节介绍IYTFA算法, 包括目标检测部分、目标跟踪部分和目标跟随控制部分; 第2节为实验验证, 简要说明移动机器人和深度学习平台, 定性、定量分析目标跟踪算法, 并进行移动机器人目标跟随实验; 第3节对本文工作进行总结与展望.

图 1  本文方法结构框图

图 2  遮挡前后深度直方图

图 3  ZED相机成像图

本文提出了一种基于改进YOLOX的移动机器人目标跟随方法, 以解决移动机器人在复杂场景中难以稳定跟随目标的问题. 针对目标检测实时性低的问题, 通过改进YOLOX-M2X网络实现目标检测; 针对复杂情况下目标跟踪问题, 提出改进的卡尔曼滤波器结合深度概率信息的方法, 确保机器人在遮挡情况下稳定跟踪目标; 针对机器人跟踪目标丢失情况, 设计了基于视觉伺服控制的目标跟随算法, 引入重识别特征主动搜寻目标, 实现目标跟随. 最后通过在多个测试集上的对比实验以及在移动机器人平台上的室内外实验验证, 证明了本文方法的有效性. 下一步工作将引入Transformer[30] 作为目标检测的整体框架, 首先将RGB-D特征图输入目标检测网络, 采用编码器与解码器的架构, 然后在网络中提取浅层深度特征图, 用此时的深度特征图作为遮挡判断的特征, 相比直接使用深度特征, 能够提高遮挡判断的准确度, 从而进一步提高目标跟随的稳定性.

作者简介

万琴

湖南工程学院电气与信息工程学院教授. 2010年获得湖南大学博士学位. 主要研究方向为机器视觉, 模式识别. 本文通信作者. E-mail: wanqin_10@126.com

李智

湖南工程学院电气与信息工程学院硕士研究生. 主要研究方向为目标跟踪, 目标跟随机器人. E-mail: lizhi_09@126.com

李伊康

湖南工程学院电气与信息工程学院硕士研究生. 主要研究方向为微电网多目标成本优化模型构建. E-mail: liyikang0906@163.com

葛柱

湖南工程学院电气与信息工程学院硕士研究生. 主要研究方向为目标检测, 机器人多目标跟踪. E-mail: gezhu_06@163.com

王耀南

中国工程院院士, 湖南大学电气与信息工程学院教授. 1995年获得湖南大学博士学位. 主要研究方向为机器人学, 智能控制和图像处理. E-mail: yaonan@hnu.edu.cn

吴迪

湖南工程学院电气与信息工程学院副教授. 2014年获得兰州理工大学博士学位. 主要研究方向为多模态融合行人再识别, 目标检测. E-mail: wudi6152007@163.com