IEEEJAS的个人博客分享 http://blog.sciencenet.cn/u/IEEEJAS

博文

基于多节点拓扑重叠测度高阶MRF模型的图像分割

已有 1120 次阅读 2022-5-16 10:14 |系统分类:博客资讯

用本文


徐胜军, 周盈希, 孟月波, 刘光辉, 史亚. 基于多节点拓扑重叠测度高阶MRF模型的图像分割. 自动化学报, 2022, 48(5): 1353−1369 doi: 10.16383/j.aas.c190780

Xu Sheng-Jun, Zhou Ying-Xi, Meng Yue-Bo, Liu Guang-Hui, Shi Ya. Image segmentation based on higher-order MRF model with multi-node topological overlap measure. Acta Automatica Sinica, 2022, 48(5): 1353−1369 doi: 10.16383/j.aas.c190780

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190780?viewType=HTML


文章简介


关键词


图像分割, 高阶马尔科夫随机场, 拓扑重叠测度, 高斯混合模型, Gibbs采样算法


摘   要


针对低阶马尔科夫随机场(Markov random field, MRF)模型难以有效表达自然图像中复杂的先验知识而造成误分割问题, 提出一种基于多节点拓扑重叠测度高阶MRF模型(Higher-order MRF model with multi-node topological overlap measure, MTOM-HMRF)的图像分割方法. 首先, 为描述图像局部区域内多像素蕴含的复杂空间拓扑结构信息, 利用多节点拓扑重叠测度建立图像局部区域的高阶先验模型; 其次, 利用较大的局部区域包含更多的标签节点信息能力, 基于Pairwise MRF模型建立基于局部区域的部分二阶Potts先验模型, 提高分割模型的抗噪能力; 再次, 为有效描述观察图像场与其标签场的似然特征分布, 研究利用局部区域内邻接像素的Hamming距离引入图像局部空间相关性, 建立局部空间一致性约束的高斯混合分布; 最后, 基于MRF框架建立用于图像分割的多节点拓扑重叠测度高阶MRF模型, 采用Gibbs采样算法对提出模型进行优化. 实验结果表明, 提出模型不仅能有效抵抗图像强噪声和复杂的纹理突变干扰, 鲁棒性更好, 而且具有更准确的图像分割结果.


引   言


图像分割是计算机视觉领域研究的核心问题之一, 是对图像进行更高层分析、理解的基础. 近年来, 基于马尔科夫随机场(Markov random field, MRF)模型的图像分割方法受到广泛关注, 成为图像分割领域研究的热点. 在概率框架下, MRF利用图像像素标签的Gibbs分布描述图像局部空间先验知识, 并基于贝叶斯定理将图像空间先验知识与似然特征结合起来, 在图像分割领域取得了成功应用.


由于低阶MRF模型只能表达邻域平滑等简单的先验知识, 而这种简单先验知识常导致分割结果的过平滑, 从而阻碍了MRF在图像分割领域的进一步应用. 高阶MRF模型引入更多的邻域信息, 能够表达更复杂的先验知识和统计信息, 因而在计算机视觉领域得到广泛关注, 取得了很多有意义的研究成果. Kohli等提出一种RobustPnPotts模型, 将标签邻域一致性作为先验约束, 即约束局部区域内大部分标签倾向于取相同标签值, 显著提高了图像分割精度, 特别是在物体边界处取得了更准确的分割效果. 夏平等针对医学图像中斑点噪声、目标边缘弱化对分割结果的干扰问题, 采用二阶邻域系统描述标签场的结构间联系, 利用复小波域中每一尺度内同标签区域的特征信息分布规律弥补了高阶MRF分割中参数估计复杂、小波域MRF缺乏平移不变性和特征提取方向性差的不足, 提出复小波域多分辨率MRF模型的超声医学图像分割算法. Li等提出一种基于超像素的高阶CRF (Conditional random field)语义分割模型, 利用超像素增强点对势能项引入图像的超像素高阶先验, 虽然基于超像素的高阶CRF模型大大提升了分割效率, 但是无监督分割算法产生的超像素常包含一些误分割边缘, 因而造成图像分割边界吻合度不理想. 这种约束区域一致性高阶MRF模型对于图像局部区域先验表达能力有限, 特别是对于图像局部区域内的高阶拓扑结构等高维特征难以有效表达.


为提高MRF模型对图像局部区域的结构特征描述能力, 常利用邻接像素的距离度量方法描述图像局部空间相关性. 宋艳涛等提出一种基于图像片权重方法的MRF模型, 利用邻接图像片之间的相似性描述局部邻域内对应像素点间的权值, 提高像素邻域内有用点和无用点的区分度, 并通过平滑KL (Kullback-Leibler)距离引入先验概率与后验概率熵的惩罚项, 该模型对图像边缘区域和纹理结构复杂区域均能获得较好的分割效果. Kim等建立一个基于超图的图像分割框架, 引入图像不同区域短距离和长距离的依赖性, 利用高阶相关性聚类方法建立超像素间的高阶势能特征. 融合空间先验约束的高斯混合模型(Gaussian mixture model, GMM)在图像分割领域也得到广泛关注. Ji等提出一种空间约束的非对称高斯混合模型(Asymmetric GMM), 利用KL距离计算邻域像素的空间先验信息, 并根据像素类内和类间的先验知识和后验概率建立像素与其标签间的非对称似然分布, 该方法有效抑制了噪声对分割结果的干扰, 得到了较好的分割结果. Zhang等基于局部空间信息和像素强度信息的相关性, 利用带权值的局部区域像素概率代替单一像素概率, 提出一种快速鲁棒的改进GMM分割模型. Ji等为提高基于GMM图像分割模型对噪声的鲁棒性, 利用局部窗内邻接像素的欧氏距离计算像素邻域空间权值因子, 提出一种新的带空间权值GMM模型. Niu等基于局部窗内局部空间逐像素距离引入局部相似度因子, 有效解决了传统基于区域的分割模型对高斯噪声和图像局部细节特征的不敏感性问题. Bi等提出一种显著度GMM图像分割模型, 该模型基于视觉注意力机制, 利用图像显著特征图提取基于图像内容的空间信息, 有效增强了重要像素在分割结果中的表达.


上述方法采用基于点对像素的相似性度量引入图像的局部空间先验信息, 这种先验信息约束距离越近的邻接像素越倾向于取相同标签. 由于复杂图像特征具有高维性, 因而常规的基于欧氏距离相似性度量不能有效描述局部像素的相似性. 为解决这一问题, 徐胜军等提出一种基于局部区域一致性的流形约束MRF模型, 该模型基于流形局部信息度量更准确地捕获了图像局部区域的复杂几何结构先验. 冯宝等提出一种结合MRF能量和模糊速度函数的活动轮廓模型方法, 利用Garbo纹理特征、DCE-MRI时域特征、灰度特征构成特征向量与聚类中心向量的距离, 构建一种模糊速度函数, 并引入到活动轮廓模型中作为MRF能量模型的边缘检测项. Shao等假定空间邻域具有相似的表示因子, 因而利用图拉普拉斯正则项将空间信息引入稀疏表示模型, 提出一种空间和类结构正则化的稀疏表示图模型, 有效描述了图像本征数据结构特征. Dornaika等利用拉普拉斯平滑度提出一种新的约束稀疏图构造方法, 该方法假定拉普拉斯平滑度约束相似的数据样本产生相似的编码向量, 从而融合稀疏表示和拉普拉斯平滑度建立一种非对称权值的相似度矩阵, 进而建立一种更具表达能力的稀疏图.


图像像素邻域结构信息是图像的重要先验知识, 这种邻域结构信息的提取常采用基于邻接像素对的相似性度量方法. 但是由于图像“高维性”、“强噪声”等特点, 基于点对像素的相似性度量方法不能揭示图像高维空间蕴含的本质几何结构; 同时, 这种“强噪声”在邻接像素之间带来较多假相关. 因而常规点对像素相似性度量方法难以捕获复杂图像高阶结构相关性特征, 这种高阶特征常蕴含在图像局部区域内多个邻接像素间. 由此可知, 研究邻接多像素相似性度量是非常有必要的. 但是常用的约束区域一致性高阶MRF模型对于局部区域内蕴含的拓扑结构特征的表达能力有限. 相关研究表明, 拓扑重叠测度(Topological overlap measure, TOM)不仅考虑了邻接点对变量的相关性, 而且引入了局部区域内节点对共享邻接变量的相关性. 与欧氏距离、Pearson相关性、互信息等传统基于点对像素相关性的距离度量方法相比, TOM能够有效描述多变量之间的拓扑结构关系. 因而基于TOM建立的基因共表达网络能有效度量多个基因表达数据的相似性, 并降低“强噪声”所带来的假相关, 因此在生物信息领域中得到显著关注.


受此启发, 为提高基于MRF模型对自然图像复杂特征描述的能力以及对噪声干扰的鲁棒性, 基于MTOM (Multi-node topological overlap measure)提出一种多变量相似性度量方法, 有效描述图像局部区域内邻接像素多变量拓扑结构关系, 并利用这种多变量拓扑结构关系建立图像的高阶拓扑结构先验模型. 最终基于MRF提出一种多节点拓扑重叠测度高阶MRF模型(Higher-order MRF model with multi-node topological overlap measure, MTOM-HMRF)图像分割方法, 有效提升了图像分割的效果.


10.16383-j.aas.c190780-Figure4.jpg

图 4  合成图像加高斯白噪声分割结果对比


10.16383-j.aas.c190780-Figure5.jpg

图 5  合成图像加椒盐噪声分割结果对比


10.16383-j.aas.c190780-Figure6.jpg

10.16383-j.aas.c190780-Figure6-1.jpg

图 6  自然图像分割结果对比


作者简介


徐胜军

西安建筑科技大学信息与控制工程学院副教授. 2013年获得西安交通大学工学博士学位. 主要研究方向为图像处理, 人工智能与自动

E-mail: duplin@sina.com


周盈希

西安建筑科技大学信息与控制工程学院硕士研究生. 主要研究方向为图像分割, 深度学习. 本文通信作者.

E-mail: 13572978250@163.com


孟月波

西安建筑科技大学信息与控制工程学院副教授. 2014年获得西安交通大学工学博士学位. 主要研究方向为机器学习, 建筑智能化技术.

E-mail: mengyuebo@163.com


刘光辉

西安建筑科技大学信息与控制工程学院副教授. 2016年获得西安建筑科技大学工学博士学位. 主要研究方向为机器学习, 建筑智能化技术.

E-mail: guanghuil@163.com


史   亚

西安建筑科技大学信息与控制工程学院讲师. 分别于2008年, 2011年, 2015年获得西安电子科技大学学士学位、硕士学位和博士学位. 主要研究方向为机器学习.

E-mail: shiyaworld@163.com


相关文章


[1]  夏平, 施宇, 雷帮军, 龚国强, 胡蓉, 师冬霞.复小波域混合概率图模型的超声医学图像分割.自动化学报, 2021, 47(1): 185-196 doi: 10.16383/j.aas.c180132

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180132?viewType=HTML


[2]  冯宝, 陈业航, 刘壮盛, 李智, 宋嵘, 龙晚生. 结合MRF能量和模糊速度的乳腺癌图像分割方法. 自动化学报, 2020, 46(6): 1188−1199 doi: 10.16383/j.aas.c180759

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180759?viewType=HTML


[3]  张帆, 张新红. 基于位错理论的距离正则化水平集图像分割算法. 自动化学报, 2018, 44(5): 943-952. doi: 10.16383/j.aas.2017.c160383

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160383?viewType=HTML


[4]  王传云, 秦世引. 动态场景红外图像的压缩感知域高斯混合背景建模. 自动化学报, 2018, 44(7): 1212-1226. doi: 10.16383/j.aas.2017.c170061

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c170061?viewType=HTML


[5]  钱生, 陈宗海, 林名强, 张陈斌. 基于条件随机场和图像分割的显著性检测. 自动化学报, 2015, 41(4): 711-724. doi: 10.16383/j.aas.2015.c140328

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2015.c140328?viewType=HTML


[6]  余淼, 胡占义. 高阶马尔科夫随机场及其在场景理解中的应用. 自动化学报, 2015, 41(7): 1213-1234. doi: 10.16383/j.aas.2015.c140684

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2015.c140684?viewType=HTML


[7]  余航, 焦李成, 刘芳. 基于上下文分析的无监督分层迭代算法用于SAR图像分割. 自动化学报, 2014, 40(1): 100-116. doi: 10.3724/SP.J.1004.2014.00100

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.00100?viewType=HTML


[8]  唐利明, 田学全, 黄大荣, 王晓峰. 结合FCMS与变分水平集的图像分割模型. 自动化学报, 2014, 40(6): 1233-1248. doi: 10.3724/SP.J.1004.2014.01233

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.01233?viewType=HTML


[9]  龙建武, 申铉京, 臧慧, 陈海鹏. 高斯尺度空间下估计背景的自适应阈值分割算法. 自动化学报, 2014, 40(8): 1773-1782. doi: 10.3724/SP.J.1004.2014.01773

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.01773?viewType=HTML


[10]  宋艳涛, 纪则轩, 孙权森. 基于图像片马尔科夫随机场的脑MR图像分割算法. 自动化学报, 2014, 40(8): 1754-1763. doi: 10.3724/SP.J.1004.2014.01754

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.01754?viewType=HTML


[11]  郑强, 董恩清. 窄带主动轮廓模型及在医学和纹理图像局部分割中的应用. 自动化学报, 2013, 39(1): 21-30. doi: 10.3724/SP.J.1004.2013.00021

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2013.00021?viewType=HTML


[12]  谭乐怡, 王守觉. 基于双重超像素集的快速路径相似度图像分割算法. 自动化学报, 2013, 39(10): 1653-1664. doi: doi{10.3724/SP.J.1004.2013.01653

http://www.aas.net.cn/cn/article/doi/doi%7B10.3724/SP.J.1004.2013.01653?viewType=HTML


[13]  杨栋, 周秀玲, 郭平. 基于贝叶斯通用背景模型的图像标注. 自动化学报, 2013, 39(10): 1674-1680. doi: 10.3724/SP.J.1004.2013.01674

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2013.01674?viewType=HTML


[14]  杨扬, 李善平. 分割位置提示的可变形部件模型快速目标检测. 自动化学报, 2012, 38(4): 540-548. doi: 10.3724/SP.J.1004.2012.00540

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.00540?viewType=HTML


[15]  龙建武, 申铉京, 陈海鹏. 自适应最小误差阈值分割算法. 自动化学报, 2012, 38(7): 1134-1144. doi: 10.3724/SP.J.1004.2012.01134

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.01134?viewType=HTML


[16]  魏巍, 申铉京, 千庆姬. 工业检测图像灰度波动变换自适应阈值分割算法. 自动化学报, 2011, 37(8): 944-953. doi: 10.3724/SP.J.1004.2011.00944

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.00944?viewType=HTML


[17]  韩守东, 赵勇, 陶文兵, 桑农. 基于高斯超像素的快速Graph Cuts图像分割方法. 自动化学报, 2011, 37(1): 11-20. doi: 10.3724/SP.J.1004.2011.00011

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.00011?viewType=HTML


[18]  王晏, 孙怡. 自适应Mean Shift算法的彩色图像平滑与分割算法. 自动化学报, 2010, 36(12): 1637-1644. doi: 10.3724/SP.J.1004.2010.01637

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2010.01637?viewType=HTML


[19]  侯彪, 徐婧, 刘凤, 焦李成. 基于第二代Bandelet域隐马尔科夫树模型的图像分割. 自动化学报, 2009, 35(5): 498-504. doi: 10.3724/SP.J.1004.2009.00498

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2009.00498?viewType=HTML


[20]  胡正平, 谭营. 基于目标模糊置信度描述驱动的区域能量进化增长图像分割算法. 自动化学报, 2008, 34(9): 1047-1052. doi: 10.3724/SP.J.1004.2008.01047

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2008.01047?viewType=HTML


[21]  彭真明, 蒋彪, 肖峻, 孟凡斌. 基于并行点火PCNN模型的图像分割新方法. 自动化学报, 2008, 34(9): 1169-1173. doi: 10.3724/SP.J.1004.2008.01169

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2008.01169?viewType=HTML


[22]  吴成柯, 刘靖, 侯格贤. 图像分割的多参量遗传算法. 自动化学报, 1998, 24(3): 410-413.

http://www.aas.net.cn/cn/article/id/16831?viewType=HTML




https://blog.sciencenet.cn/blog-3291369-1338749.html

上一篇:基于分布式有限感知网络的多伯努利目标跟踪
下一篇:《自动化学报》2022年48卷5期目录分享

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2022-7-4 19:13

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部