基于迁移学习和改进YOLOv5模型的飞机图像识别研究

        研究背景

        在民用领域，对图像中的飞机目标进行识别和分类，可以帮助航空公司对机场航班进行监管和调度，寻找丢失的飞机目标。在军事领域方面，现阶段的战争已经从过去的机械化战争向信息化战争转变，飞机目标作为快速灵活的空域作战力量，具有侦察、运输、作战等重要军事功能，其动态性可以提供重要的军事信息。因此，对航空器目标的识别不仅有利于民用航天企业的发展，而且对军事战场态势的估计和军事决策的制定具有至关重要的意义。

        由于天气（雾、尘）、噪声、光强（曝光）、污染等因素的干扰，飞机图像的内部结构和纹理信息都会受到影响，从而影响目标检测的准确性和效率，给图像目标检测带来很大难度。在背景复杂、目标密度高、机型不同的图像检测中，检测精度低，容易产生漏检和误检。由于模型参数广泛、计算量大等缺点，使用训练好的模型解决实际问题时，难以满足实时检测的要求。因此，如何实现对飞机目标的精准检测已成为过去十几年乃至当前的研究热点。   

        随着深度学习方法的不断发展，利用深度学习技术进行飞机目标检测任务已经成为当前的主流趋势。但是由于飞机图像背景复杂、存在遮挡导致飞机语义信息和图像特征提取困难、小目标飞机定位不准确等问题，如何研究出更加快速、更加精准的检测算法是面临的最大挑战。

        成果介绍

        南京理工大学王军研究员团队在国家重点研发计划变革性项目支持下，首次提出一种基于多尺度特征提取与融合注意力机制的目标检测模型。即：利用改进的YOLOv5s模型与迁移学习的策略，实现对飞机目标的精准识别。研究成果发表于Journal of Cyber-Physical-Social Intelligence 2022年第一卷第一期：H. Y. Yang, L. J. Yang, Y. M. Bo and  J. Wang,  “Research on Aircraft image recognition based on transfer learning and improved YOLOv5 model,” Journal of Cyber-Physical-Social Intelligence, vol. 1, no. 1, pp. 35–46, 2023. doi: 10.61702/GOPK6999

        首先，为了提升模型对飞机图像特征的提取能力，提出了CSPResNet50d网络作为模型的骨干网络。充分利用残差结构的优点，将网络的梯度通过恒等映射通道充分保留，使得网络在深层表现依旧良好。在此基础上将原残差分支的下采样移到后面的3×3卷积，避免了大量的信息丢失。同时，将恒等映射部分的下采样留给平均池化，避免了1×1卷积和下采样同时造成的信息丢失。并且整体骨干网络的结构采用CSPNet的思路设计。本文给出的骨干网络中的块结构如图1所示。   

小目标检测的难点在于小目标可用特征数量相对较少，对目标定位精度要求高，缺乏准确的位置信息，特征表示不完整，因此在CSPResNet50d网络中引入了坐标注意力机制CA模块。坐标注意力模块不仅考虑通道之间的关系，还考虑特征空间中的位置信息。其本质是通过精确的位置信息对通道关系和长期依赖关系进行编码。其大致流程如图2所示。   

现实情况下的飞机背景很复杂，通常有很多遮挡物。不同的角度和姿态导致同一类型飞机的图像存在明显差异，不同图像中的飞机尺度差异很大，并且小型目标数量较多，这些因素使得飞机难以定位和识别。为了实现对飞机目标的准确识别，该文使用CSPResNet50d替代YOLOv5骨干网，并在网络中加入注意力机制。改进的YOLOv5-CSPResNet50dCA算法可以更准确地检测和识别小型目标飞机。除此之外还使用了迁移学习的策略来解决现有的飞机图像数据集规模小的难点，其算法整体结构如图3所示。   

文章进行了一系列消融实验来展现模型优越的性能，其结果如图4和表1、2所示。

表1的消融实验结果表明，文中设计的骨干网络模型在飞机数据集上的准确率较其他模型有明显提升。与yolov5的初始骨干网络相比，准确率提升了1.4%，具有更好的飞机特征提取能力。为验证分析文中设计的骨干网络对小目标飞机特征能力增强的效果，图4绘制了不同模型对同一飞机图像的特征提取热图。通过对比可以看出，设计出的骨干网络可以忽略无用的背景信息，增强对小目标飞机轮廓信息的关注，因此热图覆盖的位置也更加精确，提取了更多的特征信息。

图3的实验结果表明，加入CA注意力机制和替换骨干网络都提升了mAP。加入CA注意力机制使得mAP提升了2%，说明CA模块提升了对小目标的注意力，融合了多尺度信息，提升了网络的检测效果。用CSPResNet50d替换原backbone将mAP提升了0.3%，证明充分融合残差结构和CSP结构可以提升模型对小目标的定位效果。与Yolov5相比，改进模型的监测时间缩短了6.63ms。   

除了消融实验外，文章还进行了一系列对比实验，在自建飞机图像数据集上与YOLOv5、YOLOv4和YOLOv3等算法进行了比较。实验结果如表3、图5和图6所示。

从表3中的对比实验结果可见，文中提出的模型性能得到了极大的提升。提出的模型的mAP值为73.6%，分别比YOLOv3、YOLOv4和YOLOv5高9.4%、6.7%和4.3%。图5和图6的mAP和loss变化曲线也表明文中提出的模型性能优越于原本的模型。

最后还进行了检测结果可视化实验，实验结果如图7所示。所提的模型可以精准的检测并识别出各类型的飞机目标。   

作者及团队

杨环宇，南京理工大学控制科学与工程专业博士研究生，研究方向包括图像处理和目标检测，包括对军事目标的检测与识别，基于多模态融合的行人检测、山火检测等。

杨丽君，南京理工大学控制科学与工程专业硕士研究生，2022年获南京理工大学硕士学位。现任南京理工大学自动化学院实验室管理教师，主要研究方向为火控与智能控制。

王军，南京理工大学研究员，博士生导师，2003年获得南京理工大学自动化学院学士学位，2009年获得南京理工大学控制科学与工程博士学位。现任南京理工大学自动化学院研究员。主要研究方向为振动控制、最优待机控制和估计、军事系统效能评估、毁伤估计、图像处理等。担任2021 ICCSI国际会议的主席，并成功举办多届ICCSI国际会议，现任多家核心期刊的编委。   

薄煜明，1984年获得南京理工大学自动化学院学士学位，1987年和2005年获得南京理工大学控制科学与工程硕士和博士学位。现任南京理工大学研究生院副院长。主要研究方向为振动控制、滤波和系统优化。中国自动化学会会员，江苏省分会副会长。中国指挥控制学会常务理事。2005年获教育部自然科学二等奖，2012年获山东省科技推广二等奖。