引用本文

刘松涛, 刘振兴, 姜宁. 基于融合显著图和高效子窗口搜索的红外目标分割. 自动化学报, 2018, 44(12): 2210-2221. doi: 10.16383/j.aas.2018.c170142

LIU Song-Tao, LIU Zhen-Xing, JIANG Ning. Target Segmentation of Infrared Image Using Fused Saliency Map and Efficient Subwindow Search. ACTA AUTOMATICA SINICA, 2018, 44(12): 2210-2221. doi: 10.16383/j.aas.2018.c170142

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170142

关键词

红外图像，局部显著图，全局显著图，高效子窗口搜索，区域协方差 

摘要

为了快速精确地分割红外图像目标，提出一种基于融合显著图和高效子窗口搜索的红外目标分割方法.在获取图像超像素的基础上，提取每个区域增强的Sigma特征，并考虑邻域对比度、背景对比度、空间距离和区域大小的影响，构建局部显著图，接着利用全局核密度估计构建全局显著图，然后融合局部和全局显著图实现图像显著性检测，最后应用高效子窗口搜索方法检测和筛选目标，实现红外目标分割.实验结果表明，新方法的显著图结果目标区域一致高亮且边缘清晰，背景杂波抑制效果好，可实现快速精确的目标分割.

文章导读

红外图像目标的快速和精确分割是自动目标识别的关键技术之一.传统的目标分割方法主要有两类: 1)首先进行图像分割, 然后滤除干扰和杂波区域, 实现目标分割[1]; 2)首先进行目标检测, 然后在检测包围盒内进行目标分割[2].本文将目标检测和分割融合在一起, 首先利用超像素获取图像分割结果, 然后融合局部和全局的区域显著性得到图像显著图, 最后应用目标检测的包围盒滤除干扰和杂波区域, 实现红外目标的快速和精确分割.

大部分红外图像目标本身就是显著的, 但是由于成像条件和周围环境的影响, 导致某些红外图像目标区域显著性差异明显, 边缘模糊, 或周围背景也比较显著.因此, 在目标检测之前, 需要对红外图像目标进行显著性增强.显著性体现了图像区域的独特性、稀少性和奇异性, 吸引了众多学者的关注.显著性计算模型主要包括自底向上和自顶向下两类.最经典的自底向上显著性模型是Itti模型.该模型通过提取颜色、亮度和方向特征, 以特征整合理论为根据, 利用中心-周围算子和高斯金字塔做差运算, 得到颜色、亮度和方向特征的关注图, 并融合得到图像显著图[3].之后许多基于局部对比度的显著性模型被提出, 例如, Ma等[4]提出利用当前像素和周围邻域像素的差异计算像素的显著性.由于局部对比度方法忽略了全局显著性, 该类方法通常边缘部分显著, 而不是均匀的突出整个目标.因此, 出现了考虑全局对比度的显著性计算方法. Hou等[5]提出一种基于傅里叶变换的显著图生成算法, 主要对幅度谱进行分析处理. Guo等[6]提出了剩余谱方法, 仅利用傅里叶变换的相位信息.然而, 这些方法忽略了目标的空间一致性.于是, 文献[7]提出联合频域方法, 利用局部谱特征实现结构信息的提取.关于空间一致性, 也可以从空域考虑.显著性目标应该是空间紧凑的, 而背景颜色应该分布在整个图像.计算空间一致性的方法包括:空间位置的方差[8]、二维熵[9]、相似度分布[10]和局部密度[11]等.鉴于局部显著性和全局显著性各有优势, 文献[12]提出结合全局特征和局部特征的显著图模型, 利用频域平滑来抑制非显著区域, 同时采用基于Ica的局部滤波器来增强目标区域.上述显著图结果要么边缘显著, 要么中心显著, 都不是整个目标显著.基于区域的显著性可以解决这个问题. Cheng等[13]在超像素分割的基础上, 利用当前区域和其他区域的对比度以及区域间空间关系来定义区域显著性.类似地, Perazzi等[14]提出显著滤波器方法, 利用超像素的一致性和空间分布形成对比度特征, 构建显著性测度.自顶向下的显著性计算方法主要是将显著目标检测作为学习问题. Liu等[15]利用Crf框架来学习局部特征、全局特征和区域特征的权重, 然后用训练的Crf来检测图像目标的显著性.为了进一步提高显著性检测效果, Yang等[16]利用Sift特征的稀疏编码作为隐变量, 联合学习Crf和字典, 主要不足是对相似目标的分辨效果较差. Kocak等[17]通过考虑颜色的一阶和二阶统计、边缘方向和像素位置, 同时用目标度代替Sift特征, 改善了显著图检测效果.文献[18]将显著目标检测看作回归问题, 学习一个回归器, 直接将区域特征向量映射为显著性大小.另外, 也可以采用建模的方法引入自顶向下信息, Zhang等[19]提出用贝叶斯框架来检测显著目标, 其中已知目标的信息被建模为似然函数.大多数自顶向下的显著图方法需要目标标记图像进行全监督训练.然而, 文献[20]提出弱监督显著图生成方法, 仅需标记图像中是否有目标, 而无须知道目标的具体位置.最近的发展趋势是将自底向上线索和自顶向下先验信息结合来实现显著性检测.文献[21]集成基于结构矩阵分解的显著性检测和高级先验(例如, 位置、颜色和背景等)信息, 提升了显著性检测性能.

在显著性检测的基础上, 如何检测和分割出显著目标是学者们进一步关注的研究热点. 1)目标检测方面, 基于滑动窗口的检测方法可以直接生成包围盒, 能够和显著性检测结果有效融合.但是传统的基于滑动窗口的检测方法需要进行分类器训练, 耗时较长.高效子窗口搜索(Efficient subwindow search, Ess)可以实现图像中任意目标的全局定位, 以线性时间收敛于全局最优解, 定位效果等同于滑动窗口穷尽搜索[22].文献[23]将高效子窗口搜索和显著图结合, 将目标检测提炼为最大显著密度的定位问题, 避免了分类器训练.上述目标检测方法生成的包围盒可能没有完美地套住感兴趣目标, 为此, 文献[24]提出了包围盒优化方法, 基于卷积神经网络架构改善了目标定位结果. 2)目标分割方面, 通常采用自适应阈值分割来获取目标模板[21, 25].为了得到更加精确的分割结果, Liu等[26]将目标分割变为两步, 第一步在显著图上进行初始分割, 第二步用自适应种子点调整和参数优化的迭代图割来实现最终分割.

文献[27]基于区域协方差特征构建了不同尺度空间的显著图生成方法, 较好地体现了图像目标的局部显著性.本文将该方法用于红外图像显著性检测, 发现主要不足是目标区域非一致显著, 边缘模糊, 耗时较长.为了克服这些不足, 本文首先用Slic (Simple linear iterative clustering)方法获取超像素, 接着提取每个区域增强的Sigma特征, 并考虑邻域对比度、背景对比度、空间距离和区域大小的影响, 改进了局部显著图生成方法, 然后提取每个区域的全局核密度估计, 构建全局显著图, 最后提出指数加权方式融合局部和全局显著图, 较好实现了红外图像的显著性检测.在融合显著图上, 本文又提出将超像素信息和高效子窗口搜索方法结合, 巧妙地实现红外目标分割.实验表明, 新方法是一种快速且精确的红外图像目标分割方法.

图 1  红外目标分割算法流程图

图 2  考虑不同影响因子的显著图效果

图 3  增强Sigma特征和灰度特征的显著图

本文将融合显著图和高效子窗口搜索结合, 提出一种新的红外图像目标分割方法.在利用Slic方法获取图像超像素的基础上, 提取每个区域增强的Sigma特征, 并计算邻域对比度、背景对比度、空间距离加权和区域大小加权, 构建局部显著图, 同时利用全局核密度估计生成全局显著图, 最后融合局部和全局显著图实现显著性检测.在融合显著图上, 应用显著密度最大化的高效子窗口搜索方法进行目标检测和筛选, 实现红外目标分割.实验结果表明, 新方法的显著图结果目标区域一致显著, 边缘清晰, 背景杂波抑制明显.无论主观评价, 还是客观指标, 新方法都优于当前流行的图像显著性检测方法.同时, 与高效子窗口搜索结合的目标检测结果有效抑制了干扰, 增强了目标形状信息.整个算法的计算量较小, 实用价值高, 主要不足是针对严重模糊的红外图像, 显著图中目标区域的形状信息会有残缺, 导致分割结果的精度降低.

作者简介

刘振兴

海军大连舰艇学院信息系统系讲师.2002年、2007年和2010年获得海军大连舰艇学院学士、硕士和博士学位.主要研究方向为光电工程和电子对抗.E-mail:liuzhenxing@msn.com

姜宁

海军大连舰艇学院信息系统系教授.1987年获得海军电子工程学院学士学位, 1996年和2000年获得大连理工大学硕士和博士学位, 南京理工大学博士后.主要研究方向为电子对抗和信息作战.E-mail:jiangning68@sohu.com

刘松涛

海军大连舰艇学院信息系统系副教授.2000年、2003年和2006年获得海军航空工程学院学士、硕士和博士学位, 大连理工大学博士后.主要研究方向为图像处理, 光电工程和电子对抗, 本文通信作者.E-mail:navylst@163.com