徐胜军, 周盈希, 孟月波, 刘光辉, 史亚. 基于多节点拓扑重叠测度高阶MRF模型的图像分割. 自动化学报, 2022, 48(5): 1353−1369 doi: 10.16383/j.aas.c190780

Xu Sheng-Jun, Zhou Ying-Xi, Meng Yue-Bo, Liu Guang-Hui, Shi Ya. Image segmentation based on higher-order MRF model with multi-node topological overlap measure. Acta Automatica Sinica, 2022, 48(5): 1353−1369 doi: 10.16383/j.aas.c190780

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190780?viewType=HTML

图像分割, 高阶马尔科夫随机场, 拓扑重叠测度, 高斯混合模型, Gibbs采样算法

针对低阶马尔科夫随机场(Markov random field, MRF)模型难以有效表达自然图像中复杂的先验知识而造成误分割问题, 提出一种基于多节点拓扑重叠测度高阶MRF模型(Higher-order MRF model with multi-node topological overlap measure, MTOM-HMRF)的图像分割方法. 首先, 为描述图像局部区域内多像素蕴含的复杂空间拓扑结构信息, 利用多节点拓扑重叠测度建立图像局部区域的高阶先验模型; 其次, 利用较大的局部区域包含更多的标签节点信息能力, 基于Pairwise MRF模型建立基于局部区域的部分二阶Potts先验模型, 提高分割模型的抗噪能力; 再次, 为有效描述观察图像场与其标签场的似然特征分布, 研究利用局部区域内邻接像素的Hamming距离引入图像局部空间相关性, 建立局部空间一致性约束的高斯混合分布; 最后, 基于MRF框架建立用于图像分割的多节点拓扑重叠测度高阶MRF模型, 采用Gibbs采样算法对提出模型进行优化. 实验结果表明, 提出模型不仅能有效抵抗图像强噪声和复杂的纹理突变干扰, 鲁棒性更好, 而且具有更准确的图像分割结果.

图像分割是计算机视觉领域研究的核心问题之一, 是对图像进行更高层分析、理解的基础. 近年来, 基于马尔科夫随机场(Markov random field, MRF)模型的图像分割方法受到广泛关注, 成为图像分割领域研究的热点. 在概率框架下, MRF利用图像像素标签的Gibbs分布描述图像局部空间先验知识, 并基于贝叶斯定理将图像空间先验知识与似然特征结合起来, 在图像分割领域取得了成功应用.

由于低阶MRF模型只能表达邻域平滑等简单的先验知识, 而这种简单先验知识常导致分割结果的过平滑, 从而阻碍了MRF在图像分割领域的进一步应用. 高阶MRF模型引入更多的邻域信息, 能够表达更复杂的先验知识和统计信息, 因而在计算机视觉领域得到广泛关注, 取得了很多有意义的研究成果. Kohli等提出一种RobustPnPotts模型, 将标签邻域一致性作为先验约束, 即约束局部区域内大部分标签倾向于取相同标签值, 显著提高了图像分割精度, 特别是在物体边界处取得了更准确的分割效果. 夏平等针对医学图像中斑点噪声、目标边缘弱化对分割结果的干扰问题, 采用二阶邻域系统描述标签场的结构间联系, 利用复小波域中每一尺度内同标签区域的特征信息分布规律弥补了高阶MRF分割中参数估计复杂、小波域MRF缺乏平移不变性和特征提取方向性差的不足, 提出复小波域多分辨率MRF模型的超声医学图像分割算法. Li等提出一种基于超像素的高阶CRF (Conditional random field)语义分割模型, 利用超像素增强点对势能项引入图像的超像素高阶先验, 虽然基于超像素的高阶CRF模型大大提升了分割效率, 但是无监督分割算法产生的超像素常包含一些误分割边缘, 因而造成图像分割边界吻合度不理想. 这种约束区域一致性高阶MRF模型对于图像局部区域先验表达能力有限, 特别是对于图像局部区域内的高阶拓扑结构等高维特征难以有效表达.

为提高MRF模型对图像局部区域的结构特征描述能力, 常利用邻接像素的距离度量方法描述图像局部空间相关性. 宋艳涛等提出一种基于图像片权重方法的MRF模型, 利用邻接图像片之间的相似性描述局部邻域内对应像素点间的权值, 提高像素邻域内有用点和无用点的区分度, 并通过平滑KL (Kullback-Leibler)距离引入先验概率与后验概率熵的惩罚项, 该模型对图像边缘区域和纹理结构复杂区域均能获得较好的分割效果. Kim等建立一个基于超图的图像分割框架, 引入图像不同区域短距离和长距离的依赖性, 利用高阶相关性聚类方法建立超像素间的高阶势能特征. 融合空间先验约束的高斯混合模型(Gaussian mixture model, GMM)在图像分割领域也得到广泛关注. Ji等提出一种空间约束的非对称高斯混合模型(Asymmetric GMM), 利用KL距离计算邻域像素的空间先验信息, 并根据像素类内和类间的先验知识和后验概率建立像素与其标签间的非对称似然分布, 该方法有效抑制了噪声对分割结果的干扰, 得到了较好的分割结果. Zhang等基于局部空间信息和像素强度信息的相关性, 利用带权值的局部区域像素概率代替单一像素概率, 提出一种快速鲁棒的改进GMM分割模型. Ji等为提高基于GMM图像分割模型对噪声的鲁棒性, 利用局部窗内邻接像素的欧氏距离计算像素邻域空间权值因子, 提出一种新的带空间权值GMM模型. Niu等基于局部窗内局部空间逐像素距离引入局部相似度因子, 有效解决了传统基于区域的分割模型对高斯噪声和图像局部细节特征的不敏感性问题. Bi等提出一种显著度GMM图像分割模型, 该模型基于视觉注意力机制, 利用图像显著特征图提取基于图像内容的空间信息, 有效增强了重要像素在分割结果中的表达.

上述方法采用基于点对像素的相似性度量引入图像的局部空间先验信息, 这种先验信息约束距离越近的邻接像素越倾向于取相同标签. 由于复杂图像特征具有高维性, 因而常规的基于欧氏距离相似性度量不能有效描述局部像素的相似性. 为解决这一问题, 徐胜军等提出一种基于局部区域一致性的流形约束MRF模型, 该模型基于流形局部信息度量更准确地捕获了图像局部区域的复杂几何结构先验. 冯宝等提出一种结合MRF能量和模糊速度函数的活动轮廓模型方法, 利用Garbo纹理特征、DCE-MRI时域特征、灰度特征构成特征向量与聚类中心向量的距离, 构建一种模糊速度函数, 并引入到活动轮廓模型中作为MRF能量模型的边缘检测项. Shao等假定空间邻域具有相似的表示因子, 因而利用图拉普拉斯正则项将空间信息引入稀疏表示模型, 提出一种空间和类结构正则化的稀疏表示图模型, 有效描述了图像本征数据结构特征. Dornaika等利用拉普拉斯平滑度提出一种新的约束稀疏图构造方法, 该方法假定拉普拉斯平滑度约束相似的数据样本产生相似的编码向量, 从而融合稀疏表示和拉普拉斯平滑度建立一种非对称权值的相似度矩阵, 进而建立一种更具表达能力的稀疏图.

图像像素邻域结构信息是图像的重要先验知识, 这种邻域结构信息的提取常采用基于邻接像素对的相似性度量方法. 但是由于图像“高维性”、“强噪声”等特点, 基于点对像素的相似性度量方法不能揭示图像高维空间蕴含的本质几何结构; 同时, 这种“强噪声”在邻接像素之间带来较多假相关. 因而常规点对像素相似性度量方法难以捕获复杂图像高阶结构相关性特征, 这种高阶特征常蕴含在图像局部区域内多个邻接像素间. 由此可知, 研究邻接多像素相似性度量是非常有必要的. 但是常用的约束区域一致性高阶MRF模型对于局部区域内蕴含的拓扑结构特征的表达能力有限. 相关研究表明, 拓扑重叠测度(Topological overlap measure, TOM)不仅考虑了邻接点对变量的相关性, 而且引入了局部区域内节点对共享邻接变量的相关性. 与欧氏距离、Pearson相关性、互信息等传统基于点对像素相关性的距离度量方法相比, TOM能够有效描述多变量之间的拓扑结构关系. 因而基于TOM建立的基因共表达网络能有效度量多个基因表达数据的相似性, 并降低“强噪声”所带来的假相关, 因此在生物信息领域中得到显著关注.

受此启发, 为提高基于MRF模型对自然图像复杂特征描述的能力以及对噪声干扰的鲁棒性, 基于MTOM (Multi-node topological overlap measure)提出一种多变量相似性度量方法, 有效描述图像局部区域内邻接像素多变量拓扑结构关系, 并利用这种多变量拓扑结构关系建立图像的高阶拓扑结构先验模型. 最终基于MRF提出一种多节点拓扑重叠测度高阶MRF模型(Higher-order MRF model with multi-node topological overlap measure, MTOM-HMRF)图像分割方法, 有效提升了图像分割的效果.

图 4  合成图像加高斯白噪声分割结果对比

图 5  合成图像加椒盐噪声分割结果对比

图 6  自然图像分割结果对比