引用本文

贾熹滨, 郭雄, 王珞, 杨大为, 杨正汉. 一种迭代边界优化的医学图像小样本分割网络. 自动化学报, 2024, 50(10): 1988−2001 doi: 10.16383/j.aas.c220994

Jia Xi-Bin, Guo Xiong, Wang Luo, Yang Da-Wei, Yang Zheng-Han. A few-shot medical image segmentation network with iterative boundary refinement. Acta Automatica Sinica, 2024, 50(10): 1988−2001 doi: 10.16383/j.aas.c220994

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220994

关键词

医学图像分割，小样本学习，注意力机制，边界优化 

摘要

精准的医学图像自动分割是临床影像学诊断和影像三维重建的重要基础. 但医学图像数据的目标对象间对比度差异小、受器官运动影响大, 加之标注样本规模小, 因此在小样本下建立高性能的医学分割模型仍是目前的难点问题. 针对主流原型学习小样本分割网络对医学图像边界分割性能差的问题, 提出一种迭代边界优化的小样本分割网络(Iterative boundary refinement based few-shot segmentation network, IBR-FSS-Net). 以双分支原型学习的小样本分割框架为基础, 引入类别注意力机制和密集比较模块(Dense comparison module, DCM), 对粗分割掩码进行迭代优化, 引导分割模型在多次迭代学习过程中关注边界, 从而提升边界分割精度. 为进一步克服医学图像训练样本少且多样性不足问题, 使用超像素方法生成伪标签, 扩充训练数据以提升模型泛化性. 在ABD-MR和ABD-CT医学图像分割公共数据集上进行实验, 与现有多种先进的医学图像小样本分割方法进行对比分析和消融实验. 实验结果表明, 该方法有效提升了未见医学类别的分割性能.

文章导读

医学图像分割可以为临床医生提供疾病诊断所需的解剖结构信息, 它是医学图像分析中的一个重要任务, 在辅助临床诊断与治疗中有着重要的应用价值. 随着卷积神经网络的广泛应用, 有监督的深度学习分割模型已取得了良好的语义分割效果. 然而, 医学图像的分割标注需要由临床经验丰富的医生手工完成, 密集的良好分割标注过程费时耗力. 此外, 与自然图像相比, 医学图像存在同类对象多样、不同类对象差异性小的特点, 加之器官解剖结构与病变的种类数量多, 由此带来了获取大量手工标注的医学数据集需求与标注困难的矛盾, 一方面难以获得多类别的统一分割模型, 另一方面由单一类别数据训练得到的分割模型很难直接应用到其他类别的医学分割目标. 

考虑到小样本学习[1-4]可以从有限的数据中快速学习新的数据概念, 使用少量标注好的样本提取类别表征, 利用这些表征对新的类别样本进行预测, 而不需要重新训练模型, 并且小样本学习方法在自然图像分割任务中已取得了很好的性能[5]. 因此, 有研究开始将小样本学习方法应用在医学图像分割中, 只需要给模型提供少量含有这种未见类别的样本作为支持集, 就可以实现查询集中未见器官类别或者未见病变对象的分割. 医学图像小样本分割仍处于早期发展阶段[6], 如何针对医学图像特点与分割难点, 提出有效的医学图像小样本分割模型仍是亟待研究的问题. 

尽管目前方法从不同方面给出了提升医学图像的小样本分割性能的方案, 但由于医学图像对比度低、组织特征变化大、组织或病灶形状复杂等原因, 医学图像存在边缘区域分割不清晰的挑战[7]. 目前已有众多研究通过对边界区域的特征增强, 来提升分割性能. 2020年, Yuan等[8]提出的类别注意力, 该方法应用于自然图像分割数据集, 它用物体区域特征表示和像素特征表示的相似度, 对每个类别的特征进行显式增强, 提升分割性能. 在内窥镜息肉图像分割中, 不确定性增强的上下文注意力方法[9]应用类别注意力机制, 对前景、背景和边界3个区域的特征进行增强, 得到了领先的分割水平. 因此, 本文特别针对医学图像边缘区域存在的分割难题, 将边界特征增强的方法引入到基于小样本学习的医学图像分割领域, 以提升分割效果. 

借鉴细粒度迭代度量学习的小样本分割方法经验[10-12], 针对医学图像分割存在的挑战性问题, 本文提出一种迭代边界优化小样本分割网络(Iterative boundary refinement based few-shot segmentation network, IBR-FSS-Net). 网络主要包括特征提取模块、边界优化模块(Boundary refinement mod-ule, BRM)、特征解码模块3个部分. 受临床医师由粗到细的分割区域手工标注经验的启发, 即在数据标注过程中, 临床医生首先粗略地定位目标区域, 然后根据局部特征勾勒出边界轮廓[13]. 本文提出由粗到细的模型优化训练策略, 首先利用特征提取模块与原型解码模块获得粗糙分割掩码; 然后, 引入边界优化模块来增强高层特征的边界信息表示; 最后, 使用基于参数结构的度量模块对增强后的特征进行解码, 获得精准的分割掩码. 

本文主要贡献有以下3个方面: 

1)提出一种新的医学图像小样本分割网络框架. 通过反复利用边界优化模块与度量网络模块校正预测结果中不一致的区域, 将粗糙的预测掩码细化为准确而完整的分割预测掩码. 

2)提出一个基于注意力机制的边界优化模块, 以显式建模前景区域和边界区域之间的关系, 从而增强边界区域的特征表示. 

3)在医学图像小样本分割中应用有参数的度量网络模块, 将提取到的支持集原型与查询集特征进行点对点密集比较, 使用卷积作为度量工具, 极大地提升了分割性能. 

图 1  一种迭代边界优化的小样本分割网络

图 2  基于注意力机制的边界优化模块

图 3  原型网络结构图

针对医学图像小样本分割中存在的医学目标边界的难分割问题, 本文提出一种新的医学图像小样本分割方法IBR-FSS-Net. 它利用双分支原型学习的小样本分割框架获得粗糙分割掩码, 然后使用边界优化模块与度量网络模块得到边缘分割掩码. 将边缘分割掩码作为粗糙分割掩码的补充, 从而校正边界预测过程中不一致的区域. 通过3次细化粗糙分割掩码, 达到优化边界的效果. 实验结果表明, 本文方法在ABD-MR和ABD-CT两个不同类型的腹部数据集上, 均展示出了良好的分割性能, 验证了本文方法的有效性和泛化能力. 

作者简介

贾熹滨

北京工业大学信息学部教授. 主要研究方向为视觉信息认知与计算, 智能医学图像分析和诊断, 情感计算. 本文通信作者. E-mail: jiaxibin@bjut.edu.cn

郭雄

北京工业大学信息学部硕士研究生. 主要研究方向为计算机视觉, 医学图像分割和小样本学习. E-mail: guox@emails.bjut.edu.cn

王珞

北京工业大学信息学部讲师. 主要研究方向为图像检索, 深度学习, 医学影像处理和多模态数据融合. E-mail: wangluo@bjut.edu.cn

杨大为

首都医科大学附属北京友谊医院副教授. 2020年获得首都医科大学博士学位. 主要研究方向为肝脏疾病影像诊断与研究. E-mail: yangdawei@ccmu.edu.cn

杨正汉

首都医科大学附属北京友谊医院教授. 1999年获得北京医科大学博士学位. 主要研究方向为腹部疾病影像诊断, 肝细胞癌及癌前病变的早期影像诊断, MRI新技术的开发与应用. E-mail: yangzhenghan@vip.163.com