引用本文

肖海东, 任志刚, 蔡声泽, 许超, 吴宗泽. 面向复杂环境的频域导向稀疏融合多光谱目标检测算法. 自动化学报, 2026, 52(7): 1401−1412 doi: 10.16383/j.aas.c250634

Xiao Hai-Dong, Ren Zhi-Gang, Cai Sheng-Ze, Xu Chao, Wu Zong-Ze. A frequency-guided sparse fusion algorithm for multispectral object detection in complex environments. Acta Automatica Sinica, 2026, 52(7): 1401−1412 doi: 10.16383/j.aas.c250634

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c250634

关键词

目标检测，跨光谱，特征筛选，跨模态特征对齐

摘要

随着多光谱感知与智能视觉技术的发展, 如何在复杂环境中实现稳定而精确的目标检测已成为自动化视觉检测领域的重要研究方向. 针对传统单模态可见光目标检测在夜间、大雾及低照度等复杂环境中性能下降的问题, 提出一种基于频域特征细化导向的多光谱稀疏融合目标检测方法. 该方法利用共享权重的双分支编码器分别提取可见光与红外光特征, 并通过组稀疏自注意力模块实现跨模态长距离特征筛选, 以抑制冗余信息、增强显著特征表达. 同时, 设计频域自适应加权模块, 在频域空间中进行多光谱特征解耦与自适应融合, 实现不同光谱模态间的高效语义交互与动态权重分配. 该方法可在端到端框架下实现跨模态特征的高精度对齐与融合, 有效提升模型的检测精度与鲁棒性. 在M3FD和FLIR数据集上取得83.5%和81.6%的mAP50结果, 在 KAIST数据集上取得76.2%的AP50结果, 显著优于现有多光谱目标检测算法, 验证了所提方法在复杂场景下的优越性能和泛化能力.

文章导读

近年来, 多光谱成像在夜间监控、自动驾驶及无人机遥感等领域展现出重要应用价值[1]. 随着多光谱成像与智能视觉技术的快速发展, 如何在复杂环境中实现稳定、精确的目标检测, 已成为自动化视觉检测领域的重要研究方向. 在监控识别、无人驾驶和无人机遥感等任务中, 目标检测算法通常依赖于可见光图像来获取目标的外观与纹理信息. 然而, 由于可见光成像机制受环境光照限制, 在夜间、大雾、雨雪等复杂场景下, 其检测性能显著下降, 常出现漏检或误检现象, 严重影响系统的可靠性与实用性[2−3]. 为弥补可见光图像在特定场景下信息不足的问题, 研究者引入能够反映目标热辐射特性的红外成像技术. 红外光图像具有对光照变化不敏感的优势, 可提供清晰的目标轮廓信息, 从而在低光照环境下有效增强目标检测性能. 可见光与红外光图像在光谱域上具有显著互补性, 如何高效融合两种模态的信息以获得稳健的检测性能, 成为近年来的研究热点[4−5].

如图1所示, 红外光图像可以在特殊场景下为可见光图像提供更多的信息参考. 然而, 目前的多光谱跨模态目标检测任务仍然存在诸多难题, 可见光图像含有丰富的色彩和纹理信息, 红外光图像则侧重于热轮廓信息, 二者的光谱频域差异大[6−7]. 因此简单的融合方法难以高效地对齐跨模态信息. 侧重于热轮廓信息的红外光图像往往存在大量空白画面信息, 引入过多的冗余信息不仅会降低模型的泛化能力, 还会干扰模型对关键信息的编码表征能力, 造成检测性能下降[8]. 同时, 不同的成像方式对目标有不同的敏感度, 因此在不同场景下, 不同光谱的特征图信息对模型表征的贡献度也不同. 在多模态目标检测任务中, 往往不容易确定可见光和红外光信息在不同场景下的主导地位. 针对这些问题, 需要构建一种统一的范式来对齐可见光和红外光图像的互补信息, 通过高效的特征筛选实现跨模态信息聚焦, 同时需要合理地动态分配不同模态的权重来提高模型鲁棒性.

图1  大雾场景下的可见光(左上)与红外光(右上)及黑夜场景下的可见光(左下)与红外光(右下)示例图

针对上述痛点, 学界已开展从像素级到特征级融合的广泛研究, 但现有方法仍难以兼顾特征稀疏性与跨模态语义的一致性. 基于此, 本文提出一种基于频域特征细化导向的多光谱稀疏融合目标检测方法. 该方法通过共享权重的双分支编码结构, 实现可见光与红外光特征的协同提取; 设计组稀疏自注意力模块(group sparse self-attention module, GSAM)用于长距离特征选择与冗余抑制; 提出频域自适应加权模块(frequency-domain adaptive weighting module, FDAW), 在频域空间实现跨模态特征的动态加权与细粒度融合, 从而有效提升模型的检测精度与鲁棒性. 本文的主要贡献概述如下:

1)提出基于组稀疏自注意力的多光谱长距离特征筛选机制, 利用多组稀疏自注意力实现远程特征依赖的动态建模;

2)设计频域导向的自适应融合策略, 有效实现跨模态特征的细粒度动态对齐, 强化跨模态语义交互;

3)构建高效端到端多光谱检测框架, 在检测精度与模型复杂度之间取得有效平衡, 并在参数量可控的条件下实现显著性能提升.

本文剩余部分结构如下: 第1节介绍可见光与红外光图像目标检测领域的相关研究工作; 第2节阐述构建多光谱目标检测模型所采用的方法论; 第3节详细说明所进行的相关定性与定量实验; 第4节则对本研究进行总结并对未来工作进行规划与展望.

图2  网络结构图

图3  组稀疏自注意力模块结构图

本文针对传统多光谱目标检测在复杂环境下的性能退化问题, 提出了FGSFNet. 该方法通过引入GSAM实现长距离特征依赖的稀疏建模, 有效抑制冗余信息并增强显著目标的特征表达, 同时通过FDAW完成多光谱特征的细粒度融合与动态权重调整, 显著提升了模态互补性与跨域语义一致性. 在端到端的高效率框架下, FGSFNet在保持较低计算复杂度的同时实现了可见光与红外光特征的高效融合和精准对齐. 实验结果显示, 在M3FD、KAIST和FLIR三个公开数据集上, FGSFNet在$ {\rm{mAP}}_{50} $和$ {\rm{mAP}}_{50:95} $指标上均显著优于现有主流方法, 验证了所提模型在复杂环境下的有效性、鲁棒性及良好泛化能力.

尽管FGSFNet在检测精度和实时性方面取得了显著提升, 但仍存在进一步优化的空间. 未来可从模型轻量化和部署优化入手, 将重点探索借助大核卷积或深度可分离卷积等方法将频域自适应加权逻辑通过数学等效变换, 转换为NPU友好型空间域算子. 此外, 研究针对特定边缘端架构的算子融合与指令集优化技术, 以确保FGSFNet在多样化嵌入式平台上的高性能运行. 同时, 将静态图像检测拓展至时序或视频级检测, 结合跨帧特征关联与动态信息建模, 有望进一步提升多光谱目标跟踪与连续检测能力. 此外, 本文框架可扩展至更多传感模态, 如毫米波雷达或激光雷达, 探索自适应模态选择与动态权重分配机制, 以增强多源数据下的泛化性能. 在智能交通、无人安防及工业检测等实际工程场景中, FGSFNet具备潜在应用价值, 可结合场景特征进行结构优化, 实现高可靠的实时目标检测和预警.

作者简介

肖海东

广东工业大学自动化学院硕士研究生. 主要研究方向为目标检测与计算机视觉. E-mail: 2112304427@mail2.gdut.edu.cn

任志刚

广东工业大学自动化学院教授. 主要研究方向为控制科学与工程, 模式识别. 本文通信作者. E-mail: renzhigang@gdut.edu.cn

蔡声泽

浙江大学控制科学与工程学院教授. 主要研究方向为智能控制与机器学习. E-mail: shengze_cai@zju.edu.cn

许超

浙江大学控制科学与工程学院教授, 湖州研究院院长. 主要研究方向为深度学习的控制论框架, 机器人世界模型. E-mail: cxu@zju.edu.cn

吴宗泽

深圳大学机电与控制工程学院教授. 主要研究方向为智能制造, 工业互联网, 大数据分析与深度学习. E-mail: zzwu@gdut.edu.cn

支持单位：