引用本文

史天意, 程枫, 李震, 郑传胜, 许永超, 白翔. 基于多模型融合的肺部CT新冠肺炎病灶区域自动分割. 自动化学报, 2023, 49(2): 317−328 doi: 10.16383/j.aas.c210400

Shi Tian-Yi, Cheng Feng, Li Zhen, Zheng Chuan-Sheng, Xu Yong-Chao, Bai Xiang. Automatic segmentation of Covid-19 infected regions in chest CT images based on 2D/3D model ensembling. Acta Automatica Sinica, 2023, 49(2): 317−328 doi: 10.16383/j.aas.c210400

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210400

关键词

新冠肺炎，计算机断层扫描影像分割，深度学习，泛化性能 

摘要

自2019年末以来, 全球蔓延的新型冠状病毒(Coronavirus disease 2019, Covid-19)已经给世界人民造成了严重的健康威胁. 其中新型冠状病毒患者的计算机断层扫描(Computer tomography, CT)图像通过肺炎病灶分割技术可以为医学诊断提供有价值的量化信息. 虽然目前基于深度学习的方法已经在新型冠状病毒肺炎病灶分割任务上取得了良好的效果, 但是在面对不同中心数据的情况下分割效果往往会大幅下降. 因此, 研究一种具有更好泛化性能的新型冠状病毒肺炎病灶分割算法具有重要意义. 提出一种新冠肺炎病灶多模型融合分割方法. 通过训练3DUnet模型和2DUnet结合方向场(Direction field, DF)模型, 利用多种模型各自优点进行分割结果的融合, 得到更好的泛化性能. 通过同中心和跨中心数据集的实验, 证明该方法能够有效提高新冠肺炎病灶分割的泛化性能, 为医学诊断分析提供帮助.

文章导读

2019年12月以来, 新型冠状病毒 (Coronavirus disease 2019, Covid-19)已经成为全球人类健康的严重威胁[1−2]. 截止至2021年5月7日, 根据约翰霍普金斯大学系统科学与工程中心[3]的全球病例统计, 已报告156176138例Covid-19确诊病例, 其中死亡3258680例, 影响192个国家/地区. 因此, 新冠肺炎这一全球流行的传染病对全世界都是重大挑战[4].

目前, 新冠肺炎的快速诊断治疗依然是保护人民健康的重中之重, 尤其对重症、危重症患者病情的综合救治与分析[5]. 为了更好地应对Covid-19, 准确筛查病人和快速控制病毒传播是当务之急. 虽然反转录聚合酶链式反应(Reverse transcription polymerase chain reaction, RTP-CR)方法被认为是筛查Covid-19的金标准, 但是其检测灵敏度仅为60% ~ 71%[6-7]. 为了弥补RT-PCR技术检测能力的不足, 引入计算机断层扫描(Computer tomography, CT)影像辅助分析是非常重要的. CT影像分析具有较高敏感性, 有助提高Covid-19的诊断准确率, 帮助进行早期筛查[8-9]阻止病毒传播.

据报道[10], 通过CT影像可以观察到典型的肺炎病灶表征, 如毛玻璃样阴影. 这些特征为Covid-19病情的定量评估提供了有效信息, 成为对抗Covid-19的重要手段. 然而, 手工标注肺部病灶区域是一项极其耗时且繁琐的工作, 难以大规模应用于临床诊断. 同时, 放射科医生对病灶的标注常常也会受到个体偏见和临床经验的影响. 特别地, Covid-19是一种新型突发的病毒, 造成了经验丰富医生的严重短缺. 所以, 十分有必要对Covid-19肺炎病灶的自动分割算法进行研究.

目前, 已有许多学者研究基于深度学习的Covid-19肺炎病灶的分析方法, 这些工作主要集中在肺炎诊断分类[11-18]和病灶影像分割[19-38]两个方面. 与肺炎诊断分类相比, CT影像分割能提供更多的定量数据和病灶区域的直观表征. 然而, 由于Covid-19的传播范围广, 很难有效收集到不同国家以及医院的分割数据. 而且Covid-19病灶分割算法也常常难以在不同医疗中心上获得同样良好的分割性能. 因此, 提升Covid-19病灶分割算法在多中心数据上的泛化性能是非常重要的.

针对上述问题, 本文提出了一种融合3D和2D模型的图像分割算法, 提高Covid-19肺炎病灶CT影像分割性能, 尤其是其泛化性能. 如图1, 发现3D和2D的分割结果具有不同特点. 通过比较2D和3D模型在多中心数据集上的结果, 发现3D模型[39]的结果更倾向在整个CT扫描层上出现破碎. 但同时, 也有些病灶被3D模型正确分割, 而2D模型[40]却没有得到正确完整的分割结果. 为此, 结合了多模型彼此的优点, 在多中心数据集测试上得到更准确的结果, 获得更好的泛化性能. 也在2DUnet的基础上引入了方向场(Direction field, DF)进行监督, 有助于2D模型利用方向场获得更精确的结果. 由图1可以看出, 本文方法提升了2D模型的检测精度, 同时消除了3DUnet部分破碎的错误结果, 具有更好的分割性能. 本文主要有以下贡献:

图 1  2DUnet[34]、3DUnet[35]以及本文方法在交叉数据上的测试结果

1)根据3D和2D模型的各自特点, 提出了一种多模型融合的框架, 结合不同模型优点, 提高Covid-19肺炎病灶分割泛化性能.

2)将方向场应用于2DUnet进行监督, 结合更多信息, 优化了2DUnet的结果. 将方向场信息应用在Covid-19肺炎病灶分割, 也是对方向场方法应用的延伸.

3)提出了一种融合方法来融合Covid-19肺炎病灶2D和3D模型的分割结果. 以2D分割结果作为种子, 结合3D分割结果进行融合, 利用不同模型结果的特点与联系, 取得了更好的多中心分割结果.

图 2  新冠肺炎CT影像多模型融合自动分割整体流程

图 3  2DUnet利用额外的方向场作为监督优化分割结果

本文旨在提高Covid-19肺炎病灶的分割能力, 尤其是泛化性能. 为此, 利用2DUnet结合方向场模型与3DUnet模型进行融合, 形成融合多模型结果的新冠肺炎病灶分割方法(FMM). 既保留了2D模型整体位置准确的特点, 又充分利用了3D模型可以学习到层间信息的特点. 实验结果表明, 方法能够有效地提高模型对不同中心来源数据的分割性能. 因此, FMM能有效地提高Covid-19的分割能力和泛化性能, 有助于在实际应用中的推广.

作者简介

史天意

华中科技大学电子信息与通信工程学院博士研究生. 主要研究方向为图像分割, 医学图像分析与深度学习. E-mail: shitianyihust@hust.edu.cn

程枫

华中科技大学电子信息与通信工程学院硕士研究生. 主要研究方向为图像分割, 医学图像分析与深度学习. E-mail: chengfeng@hust.edu.cn

李震

华中科技大学附属同济医院教授. 主要研究方向为腹部影像诊断, 磁共振功能成像及医学图像分析. E-mail: zhenli@hust.edu.cn

郑传胜

华中科技大学附属协和医院教授. 主要研究方向为放射诊断, 介入治疗, 重大疾病的影像学基础与临床. E-mail: hqzcsxh@sina.com

许永超

华中科技大学电子信息与通信工程学院副教授. 主要研究方向为数学形态学, 图像分割, 医学图像分析和深度学习. 本文通信作者. E-mail: yongchaoxu@hust.edu.cn

白翔

华中科技大学人工智能与自动化学院教授. 主要研究方向为物体识别, 形状分析, 自然场景文字识别和智能系统. E-mail: xbai@hust.edu.cn