引用本文

郭迎春, 冯放, 阎刚, 郝小可. 基于自适应融合网络的跨域行人重识别方法. 自动化学报, 2022, 48(11): 2744−2756 doi: 10.16383/j.aas.c220083

Guo Ying-Chun, Feng Fang, Yan Gang, Hao Xiao-Ke. Cross-domain person re-identification on adaptive fusion network. Acta Automatica Sinica, 2022, 48(11): 2744−2756 doi: 10.16383/j.aas.c220083

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220083

关键词

跨域行人重识别，自适应融合网络，细粒度风格转换，深度学习 

摘要

无监督跨域的行人重识别旨在将从有标签的源域中学习到的知识迁移到无标签的目标域, 具有实用性和有效性而得到广泛关注. 基于聚类的跨域行人重识别可以生成伪标签并对模型进行优化使得其表现较其他方法更优, 然而这类方法由于过于依赖聚类伪标签的准确性, 忽略了对伪标签噪声的处理, 导致噪声随着网络迭代而不断扩大, 影响模型的鲁棒性. 针对这个问题, 提出了基于自适应融合网络的方法, 利用双网络结构共同学习, 并将学习到的知识进行融合得到融合网络; 为了区分两个网络的学习能力, 设计了自适应融合策略; 同时, 利用细粒度风格转换模块对目标域数据集进行处理, 降低行人图像对相机变换的敏感度. 在行人重识别基准数据集Market1501、DukeMTMC-ReID和MSMT17上, 通过评估指标平均精度均值和Rank-n与主流的方法进行了对比实验, 验证了该方法的有效性.

文章导读

行人重识别[1-3]利用计算机视觉技术判断不同摄像头的图像或者视频序列中是否存在特定行人, 广泛应用于智能安防、无人超市、人机交互等多个领域. 随着深度学习的应用普及, 行人重识别获得了发展条件, 其在有监督领域上的准确率得到了大幅度的提升[4]. 但是有监督的行人重识别因需要带有真实标签的数据集而脱离实际应用, 无监督的行人重识别弥补了有监督学习的需要真实标签的劣势. 目前无监督的行人重识别所能达到的精度远远不能满足现实生活应用需求, 跨域的行人重识别由于其只需要一个预训练源域数据集带有真实标签而被识别的目标域数据集无需标签, 成为未来研究发展的方向[5].

由于不同场景存在着摄像头参数、背景和光照等问题, 简单地将在源域上进行训练所得到的模型应用于目标域上进行测试会导致行人重识别性能的下降[6-7]. 同时, 传统的跨域问题常常是基于闭集场景下的, 即假设源域和目标域共享完全相同的类, 但是这种假设并不适用于行人重识别问题. 跨域的行人重识别数据集通常是在不同时空下获得的, 所以源域与目标域的图像通常具有不同的身份信息, 应该将其看作是开集问题, 这比闭集问题更具有挑战性.

本文研究跨域方法, 着重解决现有基于聚类的跨域行人重识别方法中忽略对伪标签噪声处理的问题, 提出了基于自适应融合网络的行人重识别模型, 主要创新和贡献如下:

1)本文提出的融合网络模型, 采用双网络结构共同学习并进行网络融合, 利用融合后的网络反过来监督双网络结构的训练, 这种知识共享的模型结构可以有效地防止聚类伪标签噪声的扩大.

2)本文提出了自适应融合策略, 使得模型在每一次融合过程中, 可以针对两个网络的学习情况分配不同权重自适应地对两个网络知识进行融合.

3)本文设计了细粒度风格转换模块来降低不同相机间视角下的风格差异性, 提高模型对时空变化的鲁棒性.

本文的安排如下: 第1节介绍跨域行人重识别主要分类及相关工作; 第2节介绍本文提出的基于自适应融合网络的跨域行人重识别方法; 第3节给出实验设置并对实验结果进行分析; 第4节总结本文工作并对未来工作进行展望.

图1 自适应融合网络模型

图2 细粒度风格转换模块

图3 λid取值评估实验

目前基于聚类的跨域行人重识别方法忽略了聚类伪标签的噪声问题, 导致模型效果无法到达有监督的行人重识别方法水平. 本文提出基于细粒度风格转换的自适应融合网络方法, 采用双网络结构共同学习, 并对双网络进行自适应融合, 利用融合后的网络监督双网络训练. 同时, 为了解决数据集图像对相机敏感性的问题, 对目标域图像进行细粒度的风格转换, 将转换后的扩充目标域数据集应用于训练. 与现有的基于聚类的跨域方法相比, 本文模型取得了更高的准确率. 在三个行人重识别基准数据集Market1501、DukeMTMC-ReID、MSMT17上的实验结果充分验证了本文方法的有效性. 未来研究工作将考虑进行多个不同网络结构的融合, 以便使不同网络可以学习到彼此更具有差异性的知识, 引导模型走出局部最优, 减少伪标签噪声的影响.

作者简介

郭迎春

河北工业大学人工智能与数据科学学院副教授. 2006年获得天津大学信号与信息处理专业博士学位. 主要研究方向为数字图像处理和计算机视觉. E-mail: gyc@scse.hebut.edu.cn

冯放

河北工业大学人工智能与数据科学学院硕士研究生. 主要研究方向为行人重识别. E-mail: fengfang0901@163.com

阎刚

河北工业大学人工智能与数据科学学院副教授. 2019年获得河北工业大学微电子学与固体电子学专业博士学位. 主要研究方向为图像处理和智能监控. 本文通信作者. E-mail: yangang@scse.hebut.edu.cn

郝小可

河北工业大学人工智能与数据科学学院副教授. 2017年获得南京信息工程大学计算机与技术专业博士学位. 主要研究方向为机器学习, 医学图像分析和生物信息学. E-mail: haoxiaoke@scse.hebut.edu.cn