引用本文

李东民, 李静, 梁大川, 王超. 基于多尺度先验深度特征的多目标显著性检测方法. 自动化学报, 2019, 45(11): 2058-2070. doi: 10.16383/j.aas.c170154

LI Dong-Min, LI Jing, LIANG Da-Chuan, WANG Chao. Multiple Salient Objects Detection Using Multi-scale Prior and Deep Features. ACTA AUTOMATICA SINICA, 2019, 45(11): 2058-2070. doi: 10.16383/j.aas.c170154

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c170154

关键词

显著性检测，卷积神经网络，过分割，深度特征，元胞自动机 

摘要

显著性检测是近年来国内外计算机视觉领域研究的热点问题，在图像压缩、目标识别与跟踪、场景分类等领域具有广泛的应用.针对大多显著性检测方法只针对单个目标且鲁棒性不强这一问题，本文提出一种基于深度特征的显著性检测方法.首先，在多个尺度上对输入图像进行超像素分割，利用目标先验知识对预显著区域进行提取和优化.然后，采用卷积神经网络提取预选目标区域的深度特征.对高维深度特征进行主成分分析并计算显著性值.最后，提出一种改进的加权多层元胞自动机方法，对多尺度分割显著图进行融合优化，得到最终显著图.在公开标准数据集SED2和HKU_IS的实验表明，与现有经典显著性检测方法相比，本文方法对多显著目标检测更准确.

文章导读

随着互联网技术的快速发展, 数字图像、视频等多媒体数据呈现爆发式增长, 基于数字图像及视频的图像处理技术也在迅猛发展.显著性检测通过模拟人类视觉系统选择图像中具有重要信息的区域[1], 可将其作为其他图像处理步骤的一种预处理工作, 并已成功应用于目标识别、目标跟踪和图像分割[2-4]等多种计算机视觉任务之中.

近年来国内外计算机视觉领域在图像显著性检测的研究方面提出许多行之有效的方法.Borji等[5]将这些方法分为两类, 一类方法基于模拟生物视觉系统构建注意力预测模型(Visual saliency prediction)[6-9]. Itti等[6]提出的IT算法, 根据人眼视觉特性, 针对多尺度图像通过底层特征的中心–周围对比度得到相应的显著图, 并通过显著图融合获取最终显著图.由于人类视觉系统生物结构复杂导致此算法计算复杂度极高.近年来基于频域的显著性检测模型成为此类方法中关注热点, Hou等[7]提出一种普残差方法, 认为图像包含显著信息和冗余信息, 通过在图像幅度谱上做对数运算并利用平均滤波器进行卷积运算得到冗余信息, 以幅度谱与卷积结果的差值表示显著信息再反变换到空间域上获得显著区域.在谱残差方法基础上Guo等[8]提出相位谱四元傅里叶变换法, 通过相位谱提取图像多特征分量得到显著区域, 利用四元傅里叶变换将亮度、颜色和运动信息一起并行处理来计算时空显著性. Li等[9]提出超傅里叶变换方法, 通过对谱滤波进行扩展, 利用超复数表示图像多为特征并使用傅里叶变化得到时空显著性.

另一类方法基于计算机视觉任务驱动构建显著目标检测模型(Salient object detection).这类方法通常包括两个步骤.首先检测图像中突出显著区域, 在此基础上分割出完整目标.虽然这类方法本质上本质是解决前景与背景分割问题, 但与图像分割相比显著性目标检测根据内容将图像分割为一致区域.一些经典算法使用底层特征对图像内容进行表示[10-14], 比如Cheng等[10]使用图割方法对图像进行分割, 通过稀疏直方图简化图像颜色, 利用空间位置距离加权的颜色对比度之和来衡量图像区域的显著性. Shen等[11]提取图像的颜色特征、方向特征以及纹理特征得到特征矩阵, 利用主成分分析(Principal component analysis, PCA)对矩阵进行降维表示再计算对比度得到显著图. Yang等[12]通过将图像划分为多尺度图层, 针对每个图层计算其颜色特征与空间特征的对比度, 融合多个图层生成的显著图获取最终显著图.该方法能够保证显著性目标的一致性与完整性, 但当显著性目标较小时, 会将显著性目标当作背景融入到背景区域. Cheng等[13]采用高斯混合模型将颜色特征相似的像素聚为图像区域, 综合考虑各区域的颜色对比度和空间分布, 以概率模型生成显著图. Li等[14]以稀疏表示分类(Sparse representation-based classification, SRC)原理为基础, 对分割图超像素块进行稠密和稀疏重构, 通过多尺度重构残差建立显著图.

使用不同底层特征的显著性检测方法往往只针对某一类特定图像效果显著, 无法适用于复杂场景下多目标图像, 如图 1所示.基于视觉刺激的底层特征缺乏对显著目标本质的理解, 不能更深层次的表示显著性目标的特征.对于图像中存在的噪声物体, 如与底层特征相似但不属于同一类目标, 往往会被错误的检测为显著目标.杨赛等[15]提出一种基于词袋模型的显著性检测方法, 首先利用目标性计算先验概率显著图, 建立一种表示中层语意特征的词袋模型计算条件概率显著图, 最后通过贝叶斯推断对两幅显著图进行合成.中层语意特征能够比底层特征更准确的表示图像内容, 因此检测效果更加准确. Jiang等[16]将显著性检测作为一个回归问题, 集成多分割尺度下区域对比度, 区域属性以及区域背景知识特征向量, 通过有监督学习得到主显著图.由于背景知识特征的引入使算法对背景对象有更好的识别能力, 进而得到更准确的前景检测结果.

图 1  复杂背景下的多目标图像

近几年来, 基于深度学习的自动学习获取深度特征(或高层特征)的方法已经开始在图像显著性检测中得到应用.李岳云等[17]通过提取超像素块区域和边缘特征, 送入卷积神经网络学习得到显著置信图.采用条件随机场求能量最小化的区域进行显著性检测.对单显著目标检测效果较好, 但由于特征选择问题不适用于多目标图像. Li等[18]通过深度卷积神经网络来学习得到获取图像超像素区域的局部和全局深度特征来进行显著性检测MDF (Multiscale deep features), 检测效果相比于一般方法有明显著的提升, 但运行速度较慢. Hu等[19]通过结合卷积神经网络和区域验证的先验知识获取局部和全局特征.算法检测效果较好, 但高度复杂的模型影响了算法运行效率.本文着重研究图像背景信息相对复杂的多目标情况, 提出一种基于先验知识与深度特征的显著性检测方法.首先对图像进行多尺度分割, 对第一个分割图通过卷积神经网路提取所有超像素块的深度特征并计算显著值, 并生成预显著区域.将其余分割图的预显著区域超像素块输入卷积神经网络, 通过提取的深度特征计算显著值并更新预显著区域.不断迭代此过程得到各尺度下的显著图, 最终通过加权元胞自动机方法对多尺度显著图进行融合.目标先验可过滤大部分背景信息, 减少不必要的深度特征提取, 显著提升算法检测速率.

本文结构安排如下:第1节详细阐述基于多尺度目标先验与深度特征的多目标显著性检测方法; 第2节通过与已有算法在公开数据集上进行定性定量比较, 评价本文所提方法; 第3节总结本文所做工作并提出下一步研究方向.

图 2  本文算法总体架构图

图 3  基于卷积神经网络的深度特征提取架构图

基于深度学习的显著性检测算法能够克服传统的基于底层特征的显著性检测算法在检测效果上的不足, 但运行速率与之相比又有明显不足.本文提出一种多尺度分割和目标先验的目标预提取方法, 在此基础上通过深度特征提取进行显著值计算, 使用加权元胞自动机对尺度显著图进行融合与优化.本文方法虽然在多目标显著性检测的效果和速度上有所提升, 但仍存在许多不足, 主要工作将继续完善深度神经网络的构建和效率提升等问题.

作者简介

李东民

南京航空航天大学计算机科学与技术学院硕士研究生.主要研究方向为计算机图像处理.E-mail:nuaa_lidm@163.com

梁大川  

南京航空航天大学计算机科学与技术学院硕士研究生.主要研究方向为计算机图像处理.E-mail:dacliang@nuaa.edu.cn

王超

南京航空航天大学计算机科学与技术学院硕士研究生.主要研究方向为计算机图像处理.E-mail:nuaa_lidm@163.com

李静 

南京航空航天大学计算机科学与技术学院副教授.2004年获南京大学计算机科学与工程系博士学位.主要研究方向为数据挖掘, 计算机图像处理.本文通信作者.E-mail:jingli@nuaa.edu.cn