引用本文

许龙, 魏颖, 商圣行, 张皓云, 边杰, 徐楚翘. 基于异步相关判别性学习的孪生网络目标跟踪算法. 自动化学报, 2023, 49(2): 366−382 doi: 10.16383/j.aas.c200237

Xu Long, Wei Ying, Shang Sheng-Xing, Zhang Hao-Yun, Bian Jie, Xu Chu-Qiao. Design of asynchronous correlation discriminant single object tracker based on siamese network. Acta Automatica Sinica, 2023, 49(2): 366−382 doi: 10.16383/j.aas.c200237

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200237

关键词

孪生网络，语义信息，异步相关，判别性，在线更新 

摘要

现有基于孪生网络的单目标跟踪算法能够实现很高的跟踪精度, 但是这些跟踪器不具备在线更新的能力, 而且其在跟踪时很依赖目标的语义信息, 这导致基于孪生网络的单目标跟踪算法在面对具有相似语义信息的干扰物时会跟踪失败. 为了解决这个问题, 提出了一种异步相关响应的计算模型, 并提出一种高效利用不同帧间目标语义信息的方法. 在此基础上, 提出了一种新的具有判别性的跟踪算法. 同时为了解决判别模型使用一阶优化算法收敛慢的问题, 使用近似二阶优化的方法更新判别模型. 为验证所提算法的有效性, 分别在Got-10k、TC128、OTB和VOT2018 数据集上做了对比实验, 实验结果表明, 该方法可以明显地改进基准算法的性能.

文章导读

视觉目标跟踪算法广泛应用于水下机器人, 无人机协同, 机器人设计等诸多领域[1-3], 得到一个跟踪精度高, 速度快的跟踪器面临着各种各样的挑战. 近些年来, 大量的研究成果涌现出来, 极大地推进了该领域的发展, 其中又以基于孪生网络的跟踪算法性能最好[4-8].

目标跟踪的核心问题是目标与背景的分类问题, 在第1帧中给定任意要跟踪的目标, 目标跟踪算法都能在接下来的帧中给出该目标的准确位置. 近年来, 以基于粒子滤波加分类为代表的多域卷积神经网络(Multi-domain convolutional neural network, MDNet)[9] 和基于相关滤波为代表的核化相关滤波(Kernel correlation filter, KCF)[10] 等判别类跟踪方法受到了研究人员的广泛重视, 以这两类跟踪框架为基础, 又衍生出了大量的跟踪算法[11-15]. Wang等[13] 首先将编码器特征引入到目标跟踪的任务中, 取得了不错的跟踪性能, 但是由于该方法得到的特征比较简单, 该模型很难应付目标发生较大变化时的情景. 为解决这个问题, Ma等[12] 充分利用卷积神经网络不同层之间的卷积特征进行跟踪, 利用更高效的图像特征提高了跟踪的性能. 进一步地, Nam等[9] 提出了一种多域学习的算法 MDNet, 并引入了一个更大的卷积神经网络用于提取目标特征, 在当时的基准上取得了最好的性能. 但是, 由于MDNet基于粒子滤波算法, 速度较慢, 因此越来越多的研究转移到了相关滤波的框架下. Bolme等[16] 首先将相关滤波器引入到了目标跟踪的任务中, 将目标跟踪由分类任务变成了相似度计算的任务, 通过求解最小二乘问题得出可能是目标位置的最高响应. 为了解决 Bolme等[16] 的算法在跟踪过程中训练样本过少的问题, Henriques等[10] 将循环矩阵的思想引入到训练样本的生成过程中, 同时充分利用了循环矩阵的特点, 从而能以很快的速度优化一个非闭合的二次优化问题. 出于计算速度的考虑, 相关滤波的相关性计算都在频域中进行[16], 在实际的应用中会遇到截断误差 (边界效应) 的问题, 为了解决这一问题, Danelljan等[11] 在求解滤波器的过程中引入了一个空间正则化项, 并使用Gauss-Sed-iel[11] 求解滤波器, 同时将原始的图像特征[8, 14] 替换为对应图像的深度特征, 进行相关滤波器的计算, 进一步提高了跟踪的性能. 为了解决滤波器在离散空间计算导致的跟踪精度损失问题, Danelljan等[14] 使用插值的方法, 将滤波器的计算转移到了连续域空间, 并取得了很好的跟踪效果, 但是由于需要计算的滤波器数量比较多, 这导致算法速度较慢. 为了解决这一问题, Danelljan等[14] 提出了一种降维的方法, 求解出对响应贡献最大的几组滤波器进行跟踪, 同时利用高斯混合模型进行样本空间的管理, 实现了速度与精度的提升.

随着相关滤波算法的发展和完善, 同为相似度计算的孪生网络模型进入了人们的视野. Held等[4] 将孪生网络的结构引入到了目标跟踪的相似度计算中. Bertinetto等[5] 进一步设计了训练数据集的结构, 以此为基础衍生出了大量的基于孪生网络的跟踪算法. Li等[6] 将检测中的RPN (Region proposal network)[17] 结构引入到了跟踪中, 利用边框回归以及锚点的方法, 缓解了边界框结果精度低的问题. 为进一步解决边界框定位精度的问题, Danelljan等[18]将目标检测算法中的IOUNet (Intersection over union-network)[19]边框回归组件引入到了跟踪中, 提出了一个非孪生网络结构的跟踪器, 相比于RPN结构, IOUNet有着更高的边界框回归的精度, 这帮助该算法获得了更高的跟踪性能, 同时由于该算法可以在线更新, 因此其具有更高的判别性能. Zhu等[7]和Li等[8]提出了更深网络结构的SiamRPN++[8]、DaSiamRPN[7]和将分割引入到孪生网络跟踪器的SiamMask[20], 进一步提高了跟踪器的精度. 但是这些基于孪生网络的跟踪算法只通过离线训练获得一组网络参数, 其相似度的计算很大程度上依赖于目标的语义信息, 这导致其在在线跟踪时很难处理具有相同语义干扰物的识别问题.

为解决基于孪生网络的跟踪器对于相似目标判别能力弱的问题, 本文提出了一种异步相关的理论模型, 并基于此提出了一种新的具有判别性的跟踪方法. 在进行在线更新的过程中, 本文使用了二阶优化的方法对所提出的模型进行更新, 相比于传统的一阶优化, 本文使用的方法可以在更少的迭代次数下实现更快的收敛. 为了验证本文提出算法的有效性, 本文在 Got-10k[21]、TC128[22]、OTB[23]和VOT2018[24] 上分别进行了对比实验, 实验结果表明本文所提出的方法可以有效地提升在线跟踪器的判别能力以及鲁棒性, 同时还能保证较高的跟踪速度.

图 1  不同滤波器下响应结果对比

图 2  本文算法与其他先进跟踪器在Got-10k上的对比情况

图 3  Got-10k上跟踪结果对比实验

针对基于孪生网络的单目标跟踪器在面对相似语义目标时会发生跟踪失败的情况, 本文提出了一种异步相关的判别性学习模型, 在Got-10k、TC128、OTB和VOT2018数据集上的实验结果表明, 本文算法可显著提升跟踪器鲁棒性和精度. 在Got-10k上的消融实验表明, 本文提出的异步相关判别模型、二阶优化方法和基于KL散度的多模型融合管理算法, 可有效提升跟踪性能, 并在TC128上做了进一步的验证. 在OTB上对跟踪器在不同跟踪条件下的跟踪性能进行对比发现, 本文算法可有效改善基准算法在11种跟踪情景下的性能. 并在Got-10k上进行了实验结果的可视化, 验证了本文方法带来的判别性. 同时在OTB上对这一判别性做了进一步验证. 最后本文在VOT2018中验证了本文方法可以有效提升基准算法的精度和鲁棒性. 通过引入异步相关模型, 本文算法在牺牲较少实时性能的情况下提升了准确度. 在未来的工作中, 将探究一种自适应使用异步相关模型个数的方法, 以增强跟踪器的泛化性能.

作者简介

许龙

东北大学信息科学与工程学院博士研究生. 2016 年获得内蒙古大学学士学位. 主要研究方向为机器学习与视觉目标跟踪. E-mail: wahaha4ever@163.com

魏颖

东北大学信息科学与工程学院教授. 分别于1997年和2001年获得东北大学硕士学位和博士学位. 主要研究方向为图像处理与模式识别, 医学图像计算和分析, 计算机辅助诊断. 本文通信作者. E-mail: weiying@ise.neu.edu.cn

商圣行

东北大学信息科学与工程学院硕士研究生. 主要研究方向为模式识别, 计算机视觉和深度学习. E-mail: ssh3108@163.com

张皓云

东北大学信息科学与工程学院硕士研究生. 2019 年获得东北大学学士学位. 主要研究方向为目标跟踪与目标检测. E-mail: nicolascloud@163.com

边杰

东北大学信息科学与工程学院硕士研究生. 2017 年获得东北大学学士学位. 主要研究方向为视觉目标跟踪. E-mail: qbzxbj@163.com

徐楚翘

东北大学信息科学与工程学院硕士研究生. 主要研究方向为视觉目标跟踪. E-mail: xuchuqiao@mail.neu.edu.cn