引用本文

田娟秀, 刘国才, 谷珊珊, 鞠忠建, 刘劲光, 顾冬冬. 医学图像分析深度学习方法研究与挑战. 自动化学报, 2018, 44(3): 401-424. doi: 10.16383/j.aas.2018.c170153

TIAN Juan-Xiu, LIU Guo-Cai, GU Shan-Shan, JU Zhong-Jian, LIU Jin-Guang, GU Dong-Dong. Deep Learning in Medical Image Analysis and Its Challenges. ACTA AUTOMATICA SINICA, 2018, 44(3): 401-424. doi: 10.16383/j.aas.2018.c170153

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170153

关键词

深度学习，医学图像分析，卷积神经网络，图像分类，图像分割 

摘要

深度学习（Deep learning，DL），特别是深度卷积神经网络（Convolutional neural networks，CNNs），能够从医学图像大数据中自动学习提取隐含的疾病诊断特征，近几年已迅速成为医学图像分析研究热点.本文首先简述医学图像分析特点；其次，论述深度学习基本原理，总结深度CNNs在医学图像分析中的分类、分割框架；然后，分别论述深度学习在医学图像分类、检测、分割等各应用领域的国内外研究现状；最后，探讨归纳医学图像分析深度学习方法挑战及其主要应对策略和开放的研究方向.

文章导读

生物医学影像已成为疾病诊断和治疗中不可或缺的组成部分, 且日益重要.核磁共振成像(Magnetic resonance image, MRI)、正电子发射断层扫描(Positron emission tomography, PET)、计算机断层扫描(Computer tomography, CT)、锥形束CT、3D超声成像等医学影像技术目前已广泛应用于临床检查、诊断、治疗与决策.如何充分利用人工智能深度学习方法分析处理这些超大规模的医学图像大数据, 为临床医学中各种重大疾病的筛查、诊断、治疗计划、治疗图像引导、疗效评估和随访提供科学方法和先进技术, 是当前医学图像分析领域急需解决的重大科学问题和前沿医学影像关键技术[1].

医学图像分析最初主要采用边缘检测、纹理特征、形态学滤波以及构建形状模型和模板匹配等方法.这类分析方法通常针对特定任务而设计, 被称为手工定制式设计方法.机器学习以数据驱动方式分析任务, 能自动地从特定问题的大规模数据集中学习相关模型特征和数据特性.与针对特定问题而显式地手工设计模型不同, 机器学习方法可直接从数据样本中隐式地自动学习医学图像特征, 其学习过程本质上是一个优化问题的求解过程.通过学习, 模型从训练数据中选择正确的特征, 使分类器在测试新数据时做出正确决策.因此, 机器学习在医学图像分析中起着至关重要的作用, 已经成为最有前途的研究领域[2].

深度学习(Deep learning, DL)是一种机器学习方法, 源于人工神经网络的研究, 其动机在于建立模拟人脑分析理解数据的神经网络. 1959年, 霍普金斯大学Hubel等通过观察猫的脑部视觉中枢对视网膜感知图像的处理方式发现, 视神经元对信息处理的方式是分工分层的, 不同神经元关注的对象特征不同, 每一层神经元抽象出对象的部分特征进行处理, 所有信息经过逐层激发, 在中枢最高层激发出整个对象认知.这一发现给从事神经网络研究的计算机专家提供了重要的建模思路[3]. 20世纪80年代, 神经网络技术进一步发展, 通过在只有输入层和输出层的网络结构中添加中间隐层, 使神经网络可以解决更加复杂的分类问题[4].但层数的增加为各层的神经节点之间的连接权重选取带来困难, 反向传播算法(Back propagation, BP)的出现在一定程度上解决了权重选取问题[5]. LeCun等在1989年将BP算法应用到前馈多层神经网络学习过程, 用以识别手写的邮政编码[6].随着层次的加深, 多层网络会出现梯度消失问题, 导致BP算法无法有效调整神经元连接之间的权重, 学习时间过长.同时, 由于计算能力这一根本性限制, 神经网络研究一直未能在应用领域取得实质性突破.直到2006年前后, Hinton团队在深度前馈网络中采取无标注的数据集进行网络预训练, 解决了BP算法梯度消失问题.他们先采用非监督贪心逐层训练方法, 有效降低了观察对象的维度, 然后用监督训练微调所有网络参数.这一算法为解决深层结构相关优化难题带来了希望, 在图像目标识别等分类预测方面取得了突破性进展[7-8]. LeCun等提出的卷积神经网络(Convolutional neural networks, CNNs)利用空间相对关系减少参数数目以提高训练性能, 是第一个真正多层结构学习算法[9]. Graves等提出的长短时记忆神经网络(Long short-term memory, LSTM)也在图像手写字识别和语音识别方面取得了突破性进展[10-12].

自2006年以来, 深度学习在多个领域取得了重要突破.在语音识别方面, 微软研究人员通过与Hinton等合作, 首先将受限玻尔兹曼机(Restricted boltzmann machine, RBM)和深度信念网络(Deep belief network, DBN)引入到语音识别模型训练中, 在大词汇量语音识别系统中获得了巨大成功, 使语音识别错误率相对之前降低30%. 2012年11月, 微软展示了一个全自动的同声传译系统, 其支撑的关键技术就是深度学习[13].在图像分类方面, 微软亚洲研究院He等[14]提出了残差学习框架, 其最重要的突破在于重构了学习过程, 重定向了深层神经网络信息流, 从而很好地解决了此前深层神经网络层数与准确度之间的矛盾.在人脸识别领域, 香港中文大学Sun及其研究团队研发的DeepID在使用测试基准LFW数据库上获得99.15%的人脸识别率[15]. 2015年, DeepMind团队在《Nature》杂志上公布了自己的研究成果, 通过深度神经网络与强化学习等方法的结合, 计算机能够通过自学成为游戏高手, 在一系列复杂任务中的性能表现与人类相当[16]. 2016年3月, DeepMind开发的AlphaGo程序以4：1击败韩国围棋冠军李世石, 成为近年来人工智能领域新的里程碑. 2017年5月, AlphaGo在中国以3：0击败世界围棋冠军柯洁, 再次证明了其强大的学习、分析、决策能力. DeepMind团队自2016年起关注医疗领域, 试图将人工智能技术应用于医疗行业. DeepMind Health开发了名为Streams的软件, 帮助临床医生更快地查看医疗结果, 只需几秒钟时间就能查看急性肾脏损伤风险病人的验血结果, 优化病人的治疗方案[17].

近年来, 深度学习不断取得重大进展, 主要得益于不断提高的计算能力和持续增长的可用数据量, 以及深度学习模型及其算法的不断改进.其实质是通过构建多隐层的机器学习模型, 利用海量的样本数据训练, 学习更精准的特征, 最终提高分类或预测的准确性[18].深度学习这种从数据中学习层次特征的特点, 使得它非常适合发现高维数据中的复杂结构[19], 已经应用到语音识别[13]、自然语言处理[20]、人脸识别[15, 21]、目标检测[22]等领域和各种挑战赛中[23-25], 取得了破纪录的好成绩.有关深度学习的更详细发展历程和非医学图像分析领域的应用进展, 读者可参阅2015年由LeCun等联名撰写的综述[19]、Schmidhuber撰写的综述[26]、Goodfellow等撰写的专著[27]以及最近发表的中文综述[28-30].

深度学习在计算机视觉领域的巨大成功, 激发了国内外许多学者将其应用于医疗图像分析.哈佛大学医学院Wells教授在其综述中指出应用深度学习解决医学图像分析任务是本领域的发展趋势[31]. 2016年来, 已有多位专家对深度学习在医学图像分析中的研究现状及问题进行了总结、评述和讨论[32-36].最近, Medical Image Analysis上发表的综述对深度学习在医学图像分类、检测和分割、配准和检索等方面的研究进行了较全面的归纳总结[37].

本文根据我们课题组近3年来收集、整理的文献资料和国家自然科学基金项目研究工作, 聚焦于综述深度学习在医学图像分析应用领域的研究现状和挑战.首先, 简述医学图像分析特点.其次, 论述深度学习方法自动提取多层次特征的基本原理; 然后, 重点论述计算机视觉和医学图像分析中深度CNN分类、分割框架; 系统梳理深度学习在医学图像分析各个应用领域的国内外研究现状; 最后, 总结深度学习方法应用于医学图像分析时面临的挑战与应对策略, 而且对开放的医学图像分析深度学习研究方向进行展望.

图 1  自动编码机及栈式自编码神经网络

图 2  受限玻尔兹曼机RBM及基于RBM的深度网络

图 3  卷积神经网络框架[9]

综上所述, 深度学习具有自动地从数据中学习深层次、更具鉴别性特征的能力, 已应用于医学图像分析的多个研究领域, 并取得了突破性进展.我们注意到, 在大多数文献中, 使用深度学习相关方法展示了其领先水平的性能, 这已由医学图像分析的若干计算挑战赛结果证明; 其次, 云计算和多GPU高性能并行计算技术的发展, 使得深度学习从海量的医学图像大数据中学习深层特征成为可能; 最后, 可公开访问的相关医学图像数据库的出现, 如脑瘤MRI图像BRATS[[173]数据集、老年痴呆症神经图像ADNI数据集[93]、缺血性中风ISLES数据集[195]及多个医学图像分割挑战赛数据集, 使得基于深度学习的分割算法能够得到有效验证[33, 36].

从现有文献梳理中可看出, 目前代表领先水平的深度学习方法大多是使用监督学习的方式, 特别是基于CNN的框架.前期的研究侧重于预训练CNN和将CNN用作特征提取器, 可通过简单下载这些预训练网络并将其直接方便地使用到任何医学图像分析中.而近两年端到端训练CNN成为医学图像分析的优先方法.然而, 获得用于监督学习的标注数据是深度学习方法应用于医学数据分析的一大挑战[31, 35].在目前已标记训练数据有限情况下, 充分利用医学图像中的非标注图像, 结合非监督和监督学习的优点, 进行弱监督和无监督学习将成为医学图像分析的一个重要发展方向.

另外, 电子病历和医生专家的文本报告中包含了丰富的以自然语言描述的临床诊疗信息, 这些信息可作为图像标记数据的补充.计算机视觉领域中的自然图像字幕生成方法, 结合RNN和CNN的文本和图像分析, 相信很快会应用于医学图像分析领域.

上述挑战为医学图像分析领域的研究人员提供了巨大的机会, 我们相信, 通过深度学习算法的不断改进, 借助高性能并行计算技术的发展和日益改善的医学图像质量与不断增长的医学图像标记样本集, 基于深度学习的医学图像分析将大有所为.

作者简介

田娟秀

湖南大学电气与信息工程学院博士研究生.主要研究方向为医学图像分析, 模式识别, 深度学习.E-mail:juanxiutian@126.com

谷珊珊

北京解放军总医院放疗科技师.主要研究方向为医学图像分析与肿瘤放射治疗.E-mail:guss1990@163.com

鞠忠建

北京解放军总医院放疗科工程师.主要研究方向为医学图像分析与肿瘤放射治疗.E-mail:15801234725@163.com

刘劲光

湖南大学电气与信息工程学院博士研究生.主要研究方向为医学图像分析, 放射治疗计划优化.E-mail:liujg201405@gmail.com

顾冬冬

湖南大学电气与信息工程学院博士研究生.主要研究方向为医学图像分析, 模式识别.E-mail:gudongdongmia@163.com

刘国才

湖南大学电气与信息工程学院教授.主要研究方向为医学图像分析, 模式识别与智能系统.本文通信作者.E-mail:lgc630819@hnu.edu.cn