博文
基于时空共现模式的视觉行人再识别
|
引用本文
钱锦浩, 宋展仁, 郭春超, 赖剑煌, 谢晓华. 基于时空共现模式的视觉行人再识别. 自动化学报, 2022, 48(2): 408−417 doi: 10.16383/j.aas.c200897 Qian Jin-Hao, Song Zhan-Ren, Guo Chun-Chao, Lai Jian-Huang, Xie Xiao-Hua. Visual person re-identification based on spatial and temporal co-occurrence patterns. Acta Automatica Sinica, 2022, 48(2): 408−417 doi: 10.16383/j.aas.c200897 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200897?viewType=HTML 文章简介 关键词 行人再识别, 深度学习, 时空共现模式, 行人邻域 摘 要 基于视频图像的视觉行人再识别是指利用计算机视觉技术关联非重叠域摄像头网络下的相同行人, 在视频安防和商业客流分析中具有重要应用. 目前视觉行人再识别技术已经取得了相当不错的进展, 但依旧面临很多挑战, 比如摄像机的拍摄视角不同、遮挡现象和光照变化等所导致的行人表观变化和匹配不准确问题. 为了克服单纯视觉匹配困难问题, 本文提出一种结合行人表观特征跟行人时空共现模式的行人再识别方法. 所提方法利用目标行人的邻域行人分布信息来辅助行人相似度计算, 有效地利用时空上下文信息来加强视觉行人再识别. 在行人再识别两个权威公开数据集Market-1501和DukeMTMC-ReID上的实验验证了所提方法的有效性. 引 言 目前, 随着“智慧城市”和“平安城市”等项目建设, 众多公共场所均部署了大量的监控摄像头, 形成了庞大的监控摄像头网络. 对这些摄像头的内容进行关联分析显得越来越重要, 这也是计算机视觉领域当前研究热点之一. 行人再识别(Person re-identification)技术旨在判断跨摄像头视域下的多个行人图像是否来自同一行人. 行人再识别技术能够进一步应用于跨摄像头下的目标追踪、目标路径分析以及目标搜索等问题. 该技术实现了监控视频的智能关联分析, 其在智慧城市、公共安全、商业客流分析、城市安防和视频图像大数据处理等方面扮演极其重要的角色, 具备非常广泛的应用场景. 目前基于视频图像的行人再识别领域的研究工作主要分为两个类别, 分别是基于表征的方法以及基于度量学习的方法. 这两类方法分别旨在寻找识别性强的特征表达与学习特征间相似度度量, 使得相同身份的行人之间的相似度较大, 相异身份的行人之间的相似度较小. 随着深度学习技术的发展, 以上两类方法逐渐达成紧密结合. 然而, 这两类方法的研究重点均聚焦于行人的表观视觉信息. 由于现实场景中的目标行人姿态变化多端, 加之环境遮挡物的影响、拍摄角度和距离的改变以及光照的变化, 监控摄像头拍摄的行人视频图像会呈现较大变化, 这无疑为单纯依靠视觉匹配的行人再识别带来巨大挑战. 针对单纯视觉识别的不足, 研究人员开始应用各种上下文信息用于补充视觉匹配, 比如视频图像采集的时空信息、人群辅助等. 其中, 人群辅助方法主要基于这种观察: 在实际人流中经常存在相对稳定的小群体, 这种群体也许是互相认识的同伴, 也许是由于某些特殊原因形成相同时空轨迹的陌生人小群体(譬如在火车站相同班次到站的人群). 这种相对稳定小群体对特定行人的再识别具有积极的辅助作用. 根据上面分析, 本文将人群定义为一个时间窗口内从同一摄像头下经过的行人集合. 基于此定义, 本文提出了一种结合表观特征与行人时空共现模式的行人再识别方法. 所提方法把现实中行人之间的时空联系看作是一种共同出现的模式状态作为上下文信息来辅助行人相似度的计算. 本文在行人再识别两个权威的公开数据集Market-1501和DukeMTMC-ReID上对该方法的有效性进行了实验验证. 1. 相关工作 视觉行人再识别技术狭义上包括对行人的特征表达以及行人的跨摄像头匹配. 因此行人再识别相关的绝大部分研究主要侧重于两个方面: 行人视觉特征表达和度量学习. 本节简要介绍这两类研究成果, 同时介绍采用人群辅助行人再识别的相关方法. 1.1 行人特征表达 行人图像的特征表达方法逐渐从手工设计特征向深度学习特征过渡. 手工设计特征主要有颜色特征、纹理特征、属性特征、形状和关键点特征等. 其中颜色特征[10]是描述行人最为简单、直观的特征, 主要包含颜色名称和基于统计特性的颜色直方图. 颜色名称特征使用具体的颜色名称作为特征, 物理意义明确, 表达简洁高效. 行人图像的纹理特征是描述行人表面性质的统计特征, 具有较强的抗噪性质与旋转不变性. 行人再识别中常用的纹理特征有Gabor特征、局部二值模式特征 (Local binary pattern, LBP)和Schmid特征等. 形状和关键点特征是通过图像的形状特征与关键点的信息来描述局部的特征, 主要包含方向梯度直方图特征 (Histogram of oriented gradient, HOG)、尺度不变特征变换特征 (Scale invariant feature transform, SIFT)和加速鲁棒特征 (Speeded up robust features, SURF). 描述行人图像的属性特征是更加接近人类的认知方式, 其作为辅助信息提升了行人再识别算法模型的泛化能力. 属性特征一般包括生物属性、附属物品属性和服装属性特征等, 如行人图像的发型、性别、着装、是否携带背包等. 得益于深度卷积神经网络的发展, 深度学习成为行人视觉特征学习的基准算法. 深度学习特征是行人图像的多层抽象语义特征, 对行人图像有着更加精确的表达. 近年来行人再识别在新任务和新方法上都取得了不错的进展, 例如Chen等提出使用分类子网络与验证子网络相结合进行训练网络; Jing等提出了一种半耦合低秩判别字典学习方法(Semi-coupled low-rank discriminant dictionary learning, SLD2L)用于超分辨率行人再识别; Ma等提出一种不对称的视频内投影半耦合字典对学习方法(Semi-coupled dictionary pair learning, SDPL)用以解决彩色到灰色视频行人再识别问题; Zhu等提出了一种基于视频行人再识别的视频内和视频间同步远程学习方法(Simultaneously learning intra-video and inter-video distance metrics, SI2DL); Zhang等提出多尺度时空注意力(Multi-scale spatial-temporal attention, MSTA)模型, 着重于在空间和时间两方面挖掘每帧局部区域对整个视频表示的重要性; Wu等利用位姿对齐连接和特征亲和连接构造自适应结构感知邻接图, 并通过图神经网络学习高判别性特征; Wang等利用时间差信息提出一种既挖掘视觉语义信息又挖掘时空信息的双流时空行人再识别框架. 与已有大多数方法不同, 本文不侧重于表观或者时序运动特征的提取, 而关注利用目标行人的邻域行人分布信息来辅助行人相似度计算. 1.2 行人度量学习 度量学习即通过找到一种度量行人特征间相似度的准则, 使得相同身份的行人之间的相似度较大, 相异身份的行人之间的相似度较小. 基于度量学习的方法在损失函数上体现为相同身份的行人图像对之间的距离小于不同身份行人图像对之间的距离. 常用的度量学习损失函数主要有对比损失、三元组损失、困难样本三元组损失、四元组损失以及边界挖掘损失等. 1.3 人群辅助方法 除了表征学习和度量学习, 部分研究者尝试利用人群作为辅助信息来增强行人再识别的准确率. 在文献[5]中, 作者提出运用行人群体匹配来辅助个体匹配, 着重研究了在同一图像上的人群的视觉描述子. 然而在实际中, 由于摄像头视域的限制, 特定人群的行人未必会同时出现在同一视频帧上, 可能随着时间依次出现于监控画面. 因此, 本文考虑的人群范围比文献[5]中的人群范围更广. 除此之外, 有研究者提出将人群作为一个弱标注信息并应用于弱监督学习行人再识别方法中. 上述方法都将人群定义局限于共同出现在同一视频帧的行人组合, 且重点关注目标行人与人群的从属关系. 本文所提方法所定义人群允许跨视频帧出现, 且重点关注目标行人与人群中其他个体成员的时空关系, 具有更广泛的应用背景和更精确的时空特征刻画. 图 1 行人时空共现模式辅助视觉匹配示意图(每个圆角矩形框代表一个摄像头视域, 虚线框指定目标行人, 其他行人表示目标行人在相应视域内的邻域) 作者简介 钱锦浩 中山大学计算机学院硕士研究生. 主要研究方向为行人再识别. E-mail: qianjh6@mail2.sysu.edu.cn 宋展仁 中山大学计算机学院硕士研究生. 主要研究方向为行人再识别. E-mail: songzr3@mail2.sysu.edu.cn 郭春超 中山大学计算机学院博士研究生. 主要研究方向为行人再识, 光学字符识别, 广告内容素材理解. E-mail: chunchaoguo@gmail.com 赖剑煌 中山大学教授. 主要研究方向为计算机视觉与模式识别. E-mail: stsljh@mail.sysu.edu.cn 谢晓华 中山大学计算机学院副教授. 主要研究方向为计算机视觉与模式识别. 本文通信作者. E-mail: xiexiaoh6@mail.sysu.edu.cn 相关文章 [1] 邵晓雯, 帅惠, 刘青山. 融合属性特征的行人重识别方法. 自动化学报, 2022, 48(2): 564-571. doi: 10.16383/j.aas.c190763 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190763?viewType=HTML [2] 何星辰, 郭勇, 李奇龙, 高唱. 基于深度学习的抗年龄干扰人脸识别. 自动化学报. doi: 10.16383/j.aas.c190256 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190256?viewType=HTML [3] 梁文琦, 王广聪, 赖剑煌. 基于多对多生成对抗网络的非对称跨域迁移行人再识别. 自动化学报, 2022, 48(1): 103-120. doi: 10.16383/j.aas.c190303 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190303?viewType=HTML [4] 范家伟, 张如如, 陆萌, 何佳雯, 康霄阳, 柴文俊, 石珅达, 宋美娜, 鄂海红, 欧中洪. 深度学习方法在糖尿病视网膜病变诊断中的应用. 自动化学报, 2021, 47(5): 985-1004. doi: 10.16383/j.aas.c190069 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190069?viewType=HTML [5] 姚足, 龚勋, 陈锐, 卢奇, 罗彬. 面向行人重识别的局部特征研究进展、挑战与展望. 自动化学报, 2021, 47(12): 2742-2760. doi: 10.16383/j.aas.c190821 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190821?viewType=HTML [6] 陈文帅, 任志刚, 吴宗泽, 付敏跃. 基于深度学习的极性电子元器件目标检测与方向识别方法. 自动化学报, 2021, 47(7): 1701-1709. doi: 10.16383/j.aas.c190037 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190037?viewType=HTML [7] 侯建华, 张国帅, 项俊. 基于深度学习的多目标跟踪关联模型设计. 自动化学报, 2020, 46(12): 2690-2700. doi: 10.16383/j.aas.c180528 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180528?viewType=HTML [8] 许玉格, 钟铭, 吴宗泽, 任志刚, 刘伟生. 基于深度学习的纹理布匹瑕疵检测方法. 自动化学报. doi: 10.16383/j.aas.c200148 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200148?viewType=HTML [9] 梁星星, 冯旸赫, 马扬, 程光权, 黄金才, 王琦, 周玉珍, 刘忠. 多Agent深度强化学习综述. 自动化学报, 2020, 46(12): 2537-2557. doi: 10.16383/j.aas.c180372 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180372?viewType=HTML [10] 刘一敏, 蒋建国, 齐美彬, 刘皓, 周华捷. 融合生成对抗网络和姿态估计的视频行人再识别方法. 自动化学报, 2020, 46(3): 576-584. doi: 10.16383/j.aas.c180054 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180054?viewType=HTML [11] 罗浩, 姜伟, 范星, 张思朋. 基于深度学习的行人重识别研究进展. 自动化学报, 2019, 45(11): 2032-2049. doi: 10.16383/j.aas.c180154 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180154?viewType=HTML [12] 吴彦丞, 陈鸿昶, 李邵梅, 高超. 基于行人属性先验分布的行人再识别. 自动化学报, 2019, 45(5): 953-964. doi: 10.16383/j.aas.c170691 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c170691?viewType=HTML [13] 李文英, 曹斌, 曹春水, 黄永祯. 一种基于深度学习的青铜器铭文识别方法. 自动化学报, 2018, 44(11): 2023-2030. doi: 10.16383/j.aas.2018.c180152 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c180152?viewType=HTML [14] 李幼蛟, 卓力, 张菁, 李嘉锋, 张辉. 行人再识别技术综述. 自动化学报, 2018, 44(9): 1554-1568. doi: 10.16383/j.aas.2018.c170505 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170505?viewType=HTML [15] 陈伟宏, 安吉尧, 李仁发, 李万里. 深度学习认知计算综述. 自动化学报, 2017, 43(11): 1886-1897. doi: 10.16383/j.aas.2017.c160690 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160690?viewType=HTML [16] 郭潇逍, 李程, 梅俏竹. 深度学习在游戏中的应用. 自动化学报, 2016, 42(5): 676-684. doi: 10.16383/j.aas.2016.y000002 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.y000002?viewType=HTML [17] 耿杰, 范剑超, 初佳兰, 王洪玉. 基于深度协同稀疏编码网络的海洋浮筏SAR图像目标识别. 自动化学报, 2016, 42(4): 593-604. doi: 10.16383/j.aas.2016.c150425 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150425?viewType=HTML [18] 金连文, 钟卓耀, 杨钊, 杨维信, 谢泽澄, 孙俊. 深度学习在手写汉字识别中的应用综述. 自动化学报, 2016, 42(8): 1125-1141. doi: 10.16383/j.aas.2016.c150725 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150725?viewType=HTML [19] 朱煜, 赵江坤, 王逸宁, 郑兵兵. 基于深度学习的人体行为识别算法综述. 自动化学报, 2016, 42(6): 848-857. doi: 10.16383/j.aas.2016.c150710 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150710?viewType=HTML [20] 齐美彬, 檀胜顺, 王运侠, 刘皓, 蒋建国. 基于多特征子空间与核学习的行人再识别. 自动化学报, 2016, 42(2): 299-308. doi: 10.16383/j.aas.2016.c150344 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150344?viewType=HTML 
https://blog.sciencenet.cn/blog-3291369-1328433.html
上一篇：基于参数优化VMD和样本熵的滚动轴承故障诊断
下一篇：基于主视通路结构分级响应模型的轮廓检测方法
