引用本文

于明, 李博昭, 于洋, 刘依. 基于多图流形排序的图像显著性检测. 自动化学报, 2019, 45(3): 577-592. doi: 10.16383/j.aas.2018.c170441

YU Ming, LI Bo-Zhao, YU Yang, LIU Yi. Image Saliency Detection With Multi-graph Model and Manifold Ranking. ACTA AUTOMATICA SINICA, 2019, 45(3): 577-592. doi: 10.16383/j.aas.2018.c170441

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170441

关键词

图像显著性检测，多图模型，流形排序，超像素节点 

摘要

针对现有图像显著性检测算法中显著目标检测不完整和显著目标内部不均匀的问题，本文提出了一种基于多图流形排序的图像显著性检测算法.该算法以超像素为节点构造KNN图（K nearest neighbor graph）模型和K正则图（K regular graph）模型，分别在两种图模型上利用流形排序算法计算超像素节点的显著性值，并将每个图模型中超像素节点的显著值加权融合得到最终的显著图.在公开的MSRA-10K、SED2和ECSSD三个数据集上，将本文提出的算法与当前流行的14种算法进行对比，实验结果显示本文算法能够完整地检测出显著目标，并且显著目标内部均匀光滑.

文章导读

图像显著性检测是计算机视觉领域的关键技术之一, 有着广泛的应用领域, 包括目标识别、图像分类[1]、图像检索[2]、基于内容感知的图像压缩等[3].人类视觉注意机制可以从自然图像中提取出感兴趣的区域供给大脑进行后续分析, 如何使计算机能够更好地模拟人类的视觉注意机制, 准确、快速地提取图像中的感兴趣区域, 是图像显著性检测研究的主要内容.

图像显著性检测方法从驱动方式上可以分为两大类:自底向上的基于数据驱动的方法和自顶向下的基于任务驱动的方法[4].自底向上的方法主要利用图像的底层特征, 如对比度、颜色、亮度、纹理和边缘等, 提取图像中的显著目标.自顶向下方法是根据具体任务对自底向上的检测结果进行调整或者根据任务样本自动建立显著性模型, 这类方法需要大量的带有类别标记的示例数据集进行训练, 且需人为控制, 并依赖于所需的任务.由于自底向上的显著性检测方法多从图像特征入手, 不依赖于特定的任务, 因此目前大多数研究都是基于自底向上的方式进行视觉显著性检测.

对比度是引起人类视觉注意的最大因素, Goferman将自底向上的基于对比度的图像显著性检测算法分成以下三类[5]:考虑局部特征, 考虑整体特征, 以及融合整体特征和局部特征的方法.基于局部对比度的算法通常通过计算图像的子区域或者像素与其周围一个小的局部邻域的对比度来衡量该图像子区域或者像素的显著性, 代表算法有Achanta等[6]于2008年提出的AC (Salient region detection and segmentation)算法和Yan等[7]于2013年提出的HS(Hierarchical saliency)算法. AC算法通过计算像素块在不同邻域上的局部对比度实现多尺度显著性计算. HS算法对图像进行多级分割, 在每个层级上利用局部对比度计算显著图, 并引入等级机制对每个层级上的显著图进行融合得到最终的显著图.基于全局对比度的算法特点是对于每个子区域或像素, 将整个图像作为对比区域计算其显著值, 代表算法有Cheng等[8]于2015年提出的HC (Histogram based constrast)算法和RC (Region based contrast)算法. HC算法将一个像素的显著性定义为该像素与其他像素的颜色对比度之和, 并使用直方图进行高效处理.针对HC算法仅考虑了像素的颜色特征, RC算法在此基础上加入了位置信息.融合局部和全局对比度的方法在计算图像显著性时分别考虑局部对比度和全局对比度, 并将二者通过一定的方式结合起来. Borji等[9]提出的LGPR (Local and global patch rarities)算法利用LAB空间的三个通道分别计算图像块之间的欧氏距离和图像块直方图的概率分布, 作为局部和全局对比度, 并进行融合得到最后的显著图.

通常, 在空域中计算像素(或像素块)的显著性时间复杂度高, 而在频域中计算显著性可以提高算法的速度.如Achanta等于2009年提出的FT (Frequency-tuned)算法[10]和2010年提出的MSS (Maximum symmetric surround)算法[11], 还有Hou等[12]提出的SR (Spectral residual)算法都是基于频域的显著性检测方法.

Wang等[13]于2015年提出了BFSS (Background and foreground seed selection)算法, 通过对原始图像进行超像素分割并选择背景超像素生成背景模板, 计算每个超像素与背景模板中超像素块的对比度之和, 生成初始显著图; 在二值化的初始显著图中选择前景超像素生成前景模板, 计算每个超像素与前景模板中超像素块的对比度之和, 生成最终的显著图.该算法中生成背景模板的机制耗时多, 算法的时间复杂度较高.除了上述基于对比度的算法, 基于阈值分割的方法也被用于进行图像显著性检测. Kim等[14]于2014年提出了HDCT (High-dimensional color transform)算法, 首先利用基于Otsu的多级自适应阈值算法, 计算两个阈值, 对现有算法生成的初始显著图进行阈值分割, 得到三值图像, 提取三值图像中非中间值区域像素的颜色特征, 这些像素将被用作显著区域和背景区域的初始颜色样本, 然后将低维颜色空间映射到高维颜色空间并以颜色样本为约束, 根据颜色样本的约束估计颜色通道的最优线性组合, 最后结合高维颜色空间中的颜色值获得显著性图. Zhang等[15]于2016年提出的BMA (Boolean map approach)算法将输入图像利用多个阈值进行分割得到多幅二值图像, 通过二值图像间的拓扑分析计算显著图.基于阈值分割的显著性检测方法对阈值的依赖性强, 阈值选择不好往往会使算法失效.

基于图模型的显著性检测算法利用图的不同连接方式直观地刻画数据节点之间多样的结构特征, 通过构造不同的关联矩阵(Affinity matrix)反映图像区域之间的相似程度, 由于其检测准确率高且算法复杂度低而引起更多的关注.在IT模型[16]的基础上, Harel等[17]于2006年提出GBVS (Graph based visual saliency)算法, 利用马尔科夫随机场构建二维图像的马尔科夫链, 通过求其稳定状态得到显著图. Wei等[18]于2012年提出了GS (Geodesic saliency)算法, 以超像素为节点构造图模型, 并将节点的显著性值定义为该节点与所有背景节点之间的测地距离之和, 该方法原理简单, 能够较完整地检测出显著目标. Li等[19]于2013年提出了CHM (Contextual hypergraph modeling)算法将超图模型引入到图像显著性检测中, 通过对原始图像进行多级分割, 在每一级上建立超图模型并结合边缘特征计算显著图. Li等[20]于2015年提出RW (Random walk)算法, 该算法融合显式视觉线索和潜在视觉相关性, 同时考虑图像区域本身的信息性及不同图像区域之间潜在的相关性, 构建有向图模型, 在该图模型上利用随机游走计算各区域的显著性值. Yuan等[21]于2018年提出的RR (Regularized random)算法中引入了正则化的随机游走排序模型RRWR (Regularized random walk ranking)和反转修正模型RC (Reversion correction), 该算法同时利用区域和像素特征, 将先验显著性估计引入图像中的每个像素, 从而生成基于像素细节特征和超像素区域特征的显著图.

基于图模型的显著性检测算法普遍需要解决以下问题:如何构建图模型的节点集、边集以及边的权值选择; 如何利用图模型计算节点的显著性值. Yang等[22]提出的MR (Manifold ranking)算法利用图模型刻画图像区域之间内在的关系, 并把流形排序的概念引入到显著性检测中, 将图像的显著性检测视为对超像素节点的二分类问题.通过基于图模型的流形排序算法将局部分组融入到节点的分类问题中, 与直接利用图模型上节点之间的测地距离计算显著图的GS算法相比, MR算法得到的显著目标内部更加均匀光滑[23].然而MR算法在构造图模型时仅将位置相邻的节点进行连接, 没有考虑颜色相似的节点之间的连接性, 这样检测到的显著目标存在不完整的问题, 有时也会错误地突出非显著区域.

针对以上显著性检测算法中存在的问题, 例如显著目标不完整, 目标内部不能一致均匀突出, 本文提出了一个基于多图流形排序的显著性检测算法.与仅利用单一图模型的显著性检测算法不同, 本文引入多个图模型, 分别以超像素为节点构造基于超像素颜色特征的KNN图模型和基于空间位置特征的K正则图模型.在KNN图模型中将颜色相近的节点进行连接, 在K正则图模型中将位置近邻的节点进行连接.本文算法的主要贡献是: 1)在两种图模型中分别利用流形排序算法计算节点的显著性值, 并且在利用流形排序算法计算节点的显著性值时使用全局前景假设, 一定程度上解决了显著目标位于边界时MR算法失效的问题; 2)将两种图模型下得到的节点显著性值在节点级上进行加权融合, 得到节点最终的显著性值, 在一定程度上弥补了单一图模型下生成的显著图中噪声较多和显著目标不完整的问题.

其余章节组织如下:在第1节中介绍提出的基于多图流形排序的图像显著检测算法, 在第2节中将本文算法与经典的显著性检测算法进行对比实验, 第3节中给出总结和展望.

图 1  全局前景假设和边界先验的比较

图 2  不同图模型生成的显著图比较

图 3  MSRA-10K数据库上实验结果

本文提出了一个基于多图流形排序的图像显著性检测算法.该算法分别利用超像素的位置特征和颜色特征, 基于K正则图和KNN图构造两类图模型, 分别在两种图模型上利用流形排序算法计算超像素的显著性值, 并将每个图模型下得到的超像素的显著性值进行加权融合得到超像素最终的显著性值.本文将提出的算法与当前流行的14种算法在MSRA-10K、SED2和ECSSD数据库上进行了对比, 无论是在视觉效果上还是在定量指标上, 本文算法都具有明显优势.针对背景与前景颜色相似的图片, 本文算法的检测效果需要进一步提高, 未来考虑提取更多的特征比如超像素的形状特征, 并结合流形排序算法提取更加准确的显著目标.

作者简介

于明

河北工业大学计算机科学与软件学院教授.1999年于北京理工大学获得通信与信息系统专业博士学位.主要研究方向为语音与图像视觉信息融合的生物特征识别, 图像数学变换、图像与视频编码的高效算法.E-mail:yuming@hebut.edu.cn

李博昭  

河北工业大学计算科学与软件学院硕士研究生.2015年获得河北工业大学信息与计算科学专业学士学位.主要研究方向为图像显著性检测.E-mail:201522102010@hebut.edu.cn

刘依  

河北工业大学计算机科学与软件学院讲师.2003年获得河北工业大学计算机应用技术专业硕士学位.主要研究方向为图像处理与识别、图像显著性检测.E-mail:liuyi@scse.hebut.edu.cn

于洋  

河北工业大学计算机科学与软件学院讲师.2012年获得河北工业大学微电子学与固体电子学博士学位.主要研究方向为图像处理与分析、模式识别、计算机视觉, 智能交通系统.本文通信作者.E-mail:yuyang@scse.hebut.edu.cn