引用本文

张玉康, 谭磊, 陈靓影. 基于图像和特征联合约束的跨模态行人重识别. 自动化学报, 2021, 47(8): 1943−1950 doi: 10.16383/j.aas.c200184

Zhang Yu-Kang, Tan Lei, Chen Jing-Ying. Cross-modality person re-identification based on joint constraints of image and feature. Acta Automatica Sinica, 2021, 47(8): 1943−1950 doi: 10.16383/j.aas.c200184

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200184

关键词

跨模态，行人重识别，中间模态，联合约束 

摘要

近年来, 基于可见光与近红外的行人重识别研究受到业界人士的广泛关注. 现有方法主要是利用二者之间的相互转换以减小模态间的差异. 但由于可见光图像和近红外图像之间的数据具有独立且分布不同的特点, 导致其相互转换的图像与真实图像之间存在数据差异. 因此, 本文提出了一个基于图像层和特征层联合约束的可见光与近红外相互转换的中间模态, 不仅实现了行人身份的一致性, 而且减少了模态间转换的差异性. 此外, 考虑到跨模态行人重识别数据集的稀缺性, 本文还构建了一个跨模态的行人重识别数据集, 并通过大量的实验证明了文章所提方法的有效性, 本文所提出的方法在经典公共数据集SYSU-MM01上比D2RL算法在 Rank-1和mAP上分别高出4.2 %和3.7 %, 该方法在本文构建的Parking-01数据集的近红外检索可见光模式下比ResNet-50算法在Rank-1和mAP上分别高出10.4 %和10.4 %.

文章导读

近年来, 随着城市监控网络的不断完善, 行人重识别技术由于其巨大的应用潜力而受到越来越多的关注. 给定一个需要检索的行人图像, 行人重识别的任务是检索出一段时间内由非重叠区域下的摄像机所拍摄到的所有该行人图像, 其在智能监控、行人追踪、行为分析等计算机视觉应用及公共安全领域扮演着十分重要的角色[1-4].

当前行人重识别研究方法大多都专注于解决在可见光条件下人体姿态、背景、光照等的问题. 因此, 此类方法主要采用行人特征提取、相似性判别或基于生成式[5-8]的方式来实现行人重识别. 例如, Zhao等[5]提出了一种基于人体区域引导的多级特征分解和树状结构竞争特征融合的Spindle-Net网络, 其主要用于对齐人体语义区域来解决行人重识别问题; Sun等[6]提出采用基于注意力机制的方式, 把行人水平均匀分割成六个子块, 并对其进行局部调整对齐, 极大地改善了行人重识别的效果; Hermans等[7]提出了一种改进的三元组损失函数, 其约束条件在于除要求行人类内距离小于类间距离, 还使其小于某个阈值来提升行人重识别的效果; PTGAN算法[8]提出一种保持行人图像前景不变而将背景迁移为目标图像背景的方法, 极大地缓解了行人重识别研究所面临的数据标注困难的问题.

然而, 在实际的监控系统中, 特别是在光照不足的条件下, 摄像机通常需要从可见光模式切换到近红外模式来应对这种情况. 因此, 在将此类方法应用于实际场景之前, 有必要考虑可见光与近红外跨模态下的行人重识别问题.

基于跨模态下的行人重识别已成为近两年来业内人士的一个重要关注点. 其研究目标是对可见光状态下(自然状态)和近红外状态下(摄像机所捕捉到行人不同光谱的状态)的行人进行匹配[9-13]. 目前, 该方向主要有两种思路: 一种是基于近红外和可见光模态下的行人特征提取方法; 另一种是基于生成式的方式(Generative adversarial networks, GANs)将两种跨模态下的行人转换成同一种模态, 以实现行人重识别过程.

针对前者, Wu等[9]提出了一种基于深度零填充的方式将两种模态以参数共享的方法进行训练来解决行人重识别问题. Ye等[10]提出了一种基于双向双约束Top-ranking损失的双路网络来提取行人特征. 此外, 在其另一项工作中[11], 他们提出了一个层级跨模态匹配模型来联合优化行人在特定模态和共享模态下的特征描述. 对于后者, Dai等[12]设计一个基于判别器的生成对抗训练模型, 从不同的模态中学习具有判别力的特征. 为了减少模态差异, Wang等[13]提出一种将近红外图像和可见光图像进行相互转换的方法, 并提取相应模态下的行人图像特征. Wang等[14]认为灰度图像比彩色图像的识别效果高, 将彩色图像全部转换为灰度图像并用于行人重识别中.

上述提到的方法虽然在一定程度上提升了跨模态行人重识别的精度, 但由于可见光图像和近红外图像具有数据独立且分布不同的特点, 导致其相互转换的图像与真实图像之间存在数据差异. 基于此, 本文设计了一种新颖的中间模态生成器, 通过将两种模态分别进行特征提取后, 以自适应的方式解码在一个共享的潜在特征空间, 进而转化为中间模态的图像, 利用其潜在的特征空间来实现可见光与近红外之间的迁移, 从而提升行人重识别的效果. 实验表明, 本文方法不仅可以减少跨模态行人重识别的模态差异, 而且还能保持行人外貌特征的一致性, 极大地提升了跨模态行人重识别的精度.

在此基础上, 为了保留生成图像与真实图像之间行人身份的一致性, 本文提出特征约束模块和图像约束模块, 从特征层和图像层分别对中间模态生成器进行约束.

另外, 在基于监督的行人重识别中, 数据集的标注是一个耗时耗力的工作, 而跨模态的数据集的标注更加困难, 加剧了行人重识别算法设计的复杂度. 因此, 本文提出了一个用于评估实际监控场景下的跨模态行人重识别数据集, 本数据集仅用于测试, 而不用于训练, 详细见下文的第3.2节.

综上所述, 本文贡献主要包括以下三个方面:

1)本文提出了一种新的中间模态生成器, 用于解决近红外与可见光状态下的行人重识别过程中所存在模态差异性的问题.

2) 为了保持生成器在生成过程中行人身份的一致性, 本文提出了一个特征约束模块和图像约束模块, 分别用于特征层和图像层的联合约束.

3) 针对跨模态行人重识别数据集的匮乏, 本文提出了一个用于评估实际监控场景下基于跨模态的行人重识别数据集.

实验结果证明了该方法的有效性, 相对于当前跨模态的行人重识别方法, 本文所提出的算法取得了较大的性能优势.

图 1  本文方法的总体框架

本文针对近红外和可见光之间数据分布存在差异性的问题, 不同于以往使用生成对抗网络进行单向转换为近红外或者可见光的方法, 提出了通过生成对抗网络寻找一种在其相互转换过程中潜在的中间模态, 以提升此种模态下的行人重识别效果. 本文提出的特征约束模型和行人重识别约束模型对生成对抗网络的中间模态生成器进行约束, 进一步压缩了可见光和近红外图像及特征间的转换空间. 此外, 考虑到跨模态行人重识别数据集的稀缺性, 本文还构建了一个基于跨模态的行人重识别数据集, 为进一步开展此方向的研究提供了有效的评估策略和依据.

作者简介

张玉康

华中师范大学国家数字化学习工程技术研究中心硕士研究生. 主要研究方向为行人重识别, 生成对抗网络. E-mail: zhangyk@mails.ccnu.edu.cn

谭磊

华中师范大学国家数字化学习工程技术研究中心硕士研究生. 主要研究方向为模式识别和计算机视觉. E-mail: lei.tan@mails.ccnu.edu.cn

陈靓影

华中师范大学国家数字化学习工程技术研究中心教授. 2001 年获得南洋理工计算机科学与工程系博士学位. 主要研究方向为图像处理, 计算机视觉, 模式识别, 多媒体应用. 本文通信作者. E-mail: chenjy@mail.ccnu.edu.cn