引用本文

闫梦凯, 钱建军, 杨健. 弱对齐的跨光谱人脸检测. 自动化学报, 2023, 49(1): 135−147 doi: 10.16383/j.aas.c210058

Yan Meng-Kai, Qian Jian-Jun, Yang Jian. Weakly aligned cross-spectral face detection. Acta Automatica Sinica, 2023, 49(1): 135−147 doi: 10.16383/j.aas.c210058

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210058

关键词

弱对齐，跨光谱，人脸检测，计算机视觉 

摘要

跨光谱人脸检测在活体人脸识别、体温筛查等领域有着重要的应用价值. 众所周知, 可见光人脸易于检测, 然而红外人脸难于检测, 因此借助可见光图像的人脸检测结果进而完成红外人脸检测是一种有效的解决方案. 但是跨光谱图像之间不可避免的存在偏差, 导致检测精度不高. 为了解决这一问题, 提出了一种弱对齐跨光谱图像的人脸检测算法, 该方法基于跨光谱图像之间的偏差设计了候选框布置策略, 并在此基础上提出了跨光谱特征表示方法用于选取最优候选框. 此外, 本文还构建了一个跨光谱人脸数据集. 最后, 在跨光谱人脸数据集和OTCBVS人脸数据集上的实验结果证明, 该方法能够较好地完成红外图像人脸检测任务.

文章导读

众所周知, 可见光人脸图像中含有丰富的面部纹理、颜色等细节信息, 然而红外人脸图像中含有面部热信息, 跨光谱人脸图像能够将两者的优点相结合, 弥补各自的不足. 另外, 热红外相机能够采集人脸面部的温度信息, 可用于快速推算人体体温, 这在公共场所的体温筛查任务中有着重要的应用价值.

在实际应用中, 跨光谱图像的人脸检测是必不可少的过程. 可见光图像中的人脸检测较为容易, 红外图像中的人脸检测较难. 原因是红外图像人脸的表征很弱, 不同场景下采集的红外图像差异较大. 如果分别对可见光图像和红外图像进行人脸检测又需要耗费双倍的时间和计算资源.

为了有效地检测红外图像中的人脸, 通常利用双目相机的位置关系, 使用平移和旋转参数将可见光图像中检测到的人脸边界框投影至红外图像中, 以此得到粗略的红外人脸位置. 由于双相机之间存在视场不一致和成像时间差等缺点, 导致跨光谱图像之间的像素无法严格对应, 因此以该方式获取的红外人脸边界框存在较大偏差, 如图1中虚线边界框所示.

图 1  跨光谱人脸检测

针对上述问题, 本文对跨光谱图像之间的偏差进行了深入的分析, 偏差主要是由双相机视差和成像时间差导致的. 相机的视差是指由于双相机光轴无法完全重叠, 导致视场存在一定的偏差. 据所知, 使用光线分束器可以将双目相机的视场对齐, 但是分束器成本高、调试难、并且有光损耗, 应用范围较小. 相机的成像时间差主要是由于双相机成像时间不一致, 导致采集到的图像时间戳无法严格对齐, 从而导致场景中动态目标的成像存在偏差.

为了克服双目相机采集到的跨光谱图像之间的偏差, 准确定位红外图像人脸, 本文设计了候选框布置策略和跨光谱特征表示方法. 候选框的布置利用了坐标映射的结果, 坐标映射虽有偏差, 但是能够为候选框的布置提供较强的先验信息. 跨光谱特征表示方法用于选择能够准确表达红外人脸位置的候选框.

本文还构建了一个跨光谱人脸数据集, 数据采集场景为人员进出密集的楼宇出入口, 涵盖白天和夜晚场景, 采集到的人脸图像含有遮挡、不同姿态等情况. 数据集中的红外人脸图像含有手工标注的人脸边界框, 作为评估算法性能的基准.

本文主要贡献如下:

1)深入分析了跨光谱相机的视差和成像时间差对跨光谱图像偏差的影响.

2)提出了一种针对弱对齐图像的跨光谱人脸检测算法, 依据跨光谱图像之间的弱对齐关系布置候选框; 为选择最优候选框, 设计了跨光谱特征表示方法.

3)构建了一个跨光谱人脸数据集(Cross-spectrum face, CSF). 并在CSF和OTCBVS[1]上测试了人脸检测算法的性能. 实验结果证明, 本文方法在红外图像中可以表现出更好性能.

图 2  双相机与空间内任意一点的关系

图 3  空间中任意一点在相机中的成像坐标

本文提出了一种弱对齐跨光谱图像的人脸检测算法, 该算法利用了可见光图像与红外图像的弱对齐关系和两者之间的一致特征, 克服了跨光谱图像之间的偏差, 达到了准确检测红外人脸的目的. 与直接在红外图像中检测人脸的算法相比, 本文的算法速度更快, 人脸位置检测精度更高, 模型训练成本更低. 大量的实验证明, 本文提出的跨光谱人脸检测算法能够快速准确地检测红外图像中的人脸. 虽然本文的算法已经能够较好解决红外人脸检测难的问题, 但是算法部分模块设计不够细致, 数据集的构建也不够完善, 对可见光图像中的人脸检测结果依赖性强. 在后续的工作中, 将深入挖掘可见光人脸与红外人脸之间的一致特征, 设计更加有效的跨光谱特征表示网络和目标函数, 依靠红外图像视频帧之间的相关性设计候选框布置策略, 以进一步提升检测性能, 同时也会进一步在更多场景下采集跨光谱人脸数据, 以增加数据集的多样性.

作者简介

闫梦凯

南京理工大学计算机科学与工程学院博士研究生. 主要研究方向为生物生理信息测量和计算机视觉. E-mail: ymk@njust.edu.cn

钱建军

南京理工大学计算机科学与工程学院副教授. 2014年获南京理工大学博士学位. 主要研究方向为模式识别和计算机视觉. 本文通信作者. E-mail: csjqian@njust.edu.cn

杨健

南京理工大学计算机科学与工程学院教授. 2002年获南京理工大学博士学位. 主要研究方向为模式识别, 计算机视觉和机器学习. E-mail: csjyang@njust.edu.cn