引用本文

宋杰, 肖亮, 练智超. 级联稀疏卷积与决策树集成的病理图像细胞核分割方法. 自动化学报, 2021, 47(2): 378−390 doi: 10.16383/j.aas.c190672

Song Jie, Xiao Liang, Lian Zhi-Chao. Cascade sparse convolution and decision tree ensemble model for nuclear segmentation in pathology images. Acta Automatica Sinica, 2021, 47(2): 378−390 doi: 10.16383/j.aas.c190672

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190672

关键词

数字病理，细胞核分割，级联稀疏可分离卷积，集成决策树，正则化回归，深层表征学习 

摘要

数字病理图像分析对于乳腺癌、肾癌等良恶性分级诊断具有重要意义, 其中细胞核的形态测量是病理量化分析的关键. 然而, 由于病理图像背景复杂, 细胞核高密度分布、细胞粘连等, 个体细胞核精准分割是一个挑战性问题. 本文提出一个级联稀疏卷积与决策树集成学习的细胞核分割模型. 该模型由稀疏可分离卷积模块和集成决策树学习的正则化回归模块堆叠级联组成, 其中: 前者采取秩-1张量分解学习机制, 可分层抽取细胞核的多尺度方向分布式抽象特征; 而后者采取随机采样、树剪枝以及正则化回归机制提升逐像素回归分类能力. 相比于现有深度学习模型, 该模型无需非线性激活和后向传播计算, 参数规模较小, 可实现端到端的学习. 通过乳腺、前列腺、肾脏、胃和膀胱等多组病理图像的分割实验表明: 该模型能够实现复杂数字病理图像中的高密度细胞核的快速个体目标检测和分割, 在Jaccard相似性系数、F1分数和平均边缘距离三个指标上均优于目前CNN2、CNN3和U-Net等深度学习方法, 具有较好应用前景.

文章导读

复杂背景病理图像个体细胞分割是在成千上万个体细胞汇集的图像中逐个分割出具有相对完整边界的细胞, 为后续细胞形态计算和病理特征提供定量分析. 传统的病理切片分割方法, 需要经过专门训练的病理医师在图像中逐个寻找感兴趣区域(Regions of interest, RoI), 而后根据专业知识分析诊断. 一张病理切片通常包含成百上千个细胞或细胞核, 这给医师带来很大的工作负担, 疲劳阅片现象时有发生[1]. 虽然目前已有很多病理细胞图像处理方法, 但这些方法大多只关注于特定类型或单一器官的细胞或细胞核分割. 因此, 临床和医学研究迫切需要能够进行多个器官和疾病状态的细胞核病理图像高精度分割方法[2]. 然而, 如图1所示, 个体分割具有如下挑战: 一方面, 对于病理状态(例如增生或某种癌症亚型)图像而言, 由于细胞核增大, 并呈现染质浓集贴边, 即核內染质较浅, 而边缘附近染质较深; 而着色较深的核仁也大量出现在核内. 另一方面, 由于病理图像中往往细胞密度高、细胞间出现重叠和成团等突出问题, 加剧了个体细胞分割的难度. 目前方法体系主要分两类: 传统基于人工特征的图像分割方法和基于表示特征学习的图像分割方法.

图1 病理细胞核图像分割的挑战与人工分割结果

传统图像分割方法包括: 水平集方法、图论方法和分水岭方法等. 水平集算法是目前比较流行的分割方法. 其基本模型包括两类: 基于边缘的水平集模型[3]和基于区域的水平集模型[4]. 近年来, 基于后者, 很多改进的方法[5]被提出来广泛应用于病理图像的细胞分割中. 在现有方法中, 基于图论的分割方法是病理图像分析中应用最为广泛的技术之一. 最常用算法是最小割算法[6], 除了主流的图割方法, 其他类型的图模型也已经应用到个体细胞核的分割, 例如属性关系图模型[7]. 另一类基于图像分析的代表性方法是分水岭算法, 分水岭算法通常期望目标细胞核内灰度分布均匀, 并且目标与背景具有明显灰度或颜色差异. 图像中的噪声、目标内部灰度变化, 都会产生过度分割的现象. 为此, 人们提出若干标记控制的分水岭及其变种算法[8-10]. 传统图像分割方法为了得到精确的个体分割结果, 通常需要分析RoI特有属性来设计额外的后处理步骤, 从而导致算法可迁移性较差.

虽然深度学习方法能较好地处理病理图像细胞核表观多样性的分割问题, 但由于网络架构、网络复杂性以及超参数的影响, 使其分割性能受到限制. 针对病理图像细胞核表观多样性的分割问题及深度神经网络的局限性, 国内外研究者提出了系列具有较小参数规模的快速浅层分割学习模型. 与现有深度学习模型相比, 浅层学习模型无需非线性激活和后向传播计算, 且学习模型参数规模较小. 传统浅层分割学习方法[11-12]为了得到密集预测结果, 通常使用像素周围的一个图像块作为模型的输入用于训练和预测. 由于只能提取一些局部的特征, 从而导致分割的性能受到限制. 而基于卷积操作的浅层学习模型[13-18]则是从抽象的特征中恢复出每个像素所属的类别, 从而可以实现比传统模型更加精确的分割结果. 然而, 这类浅层分割学习模型没有充分考虑像素间的局部依赖关系, 因此对图像细节特征快速捕获和紧致表达能力有待加强. 此外, 在传统集成决策树学习算法中最先学习得到的一两棵树对预测结果的影响最为显著, 这使得整个模块对这些树所做出的决策过于敏感, 容易产生过拟合现象.

为了解决这些问题, 本文的主要贡献是:

1) 提出了级联稀疏卷积与决策树集成(Cascade sparse convolution and decision tree ensemble, CscDTE)学习模型, 该模型没有非线性激活和后向传播计算, 且学习模型参数规模较小, 其特征学习过程具有一种替代深度神经网络的新型学习机制;

2) 采取多层稀疏可分离卷积特征学习捕获图像上下文特征; 采取秩-1张量分解[19]的可分离卷积加速特征学习过程;

3) 建立集成决策树学习的正则化回归模型, 采取局部二阶近似逼近优化决策树, 提高分类回归泛化性能;

4) 在乳腺、前列腺、肾脏、胃和膀胱等多组病理图像的分割实验表明该模型优于目前CNN2、CNN3和U-Net等深度学习方法, 对于病理图像分割具有较好应用前景.

图2 用于病理图像分割的CNN体系结构

图4 两层CscDTE学习模型示例

本文提出了一个级联稀疏卷积与决策树集成学习(CscDTE)的细胞核分割模型. 常用的分水岭分割方法和深度学习网络对算法初始化和病理图像数据的多样性较为敏感. 与之相比, CscDTE模型具有四个方面的优势:

1) 为了实现鲁棒特征的提取和CscDTE模型算法的加速, 基于秩-1张量分解学习机制, CscDTE模型在各层引入稀疏可分离卷积模块, 分层抽取细胞核的多尺度方向分布式抽象特征;

2) 为了提升模型的分割性能, 充分考虑像素间的关系, CscDTE模型使用级联卷积特征作为样本输入, 迭代有监督地训练集成决策树模块直到收敛;

3) 为了增强集成决策树模块对数据复杂性和可变性的自适应能力, CscDTE模型采取随机采样、树剪枝以及正则化回归机制提升逐像素分布式特征集成回归分类能力;

4) 不同器官和疾病状态的复杂病理数据集上的大量试验表明了所提出的CscDTE方法相比于已有最先进技术的优越性.

在现有框架的基础上, 将利用更先进的预测模型对集成决策树学习模块进行替换, 以实现更好的分割性能; 将结合语义分割, 在应用层面对CscDTE其进行拓展; 将探索管状显微结构的提取与重构, 例如血管、神经突等, 并拓展至三维医学图像应用.

作者简介

宋杰

博士, 南京邮电大学自动化学院、人工智能学院讲师. 主要研究方向为生物医学图像处理, 机器学习与模式识别.E-mail: j.song0041@gmail.com

肖亮

博士, 南京理工大学计算机科学与工程学院教授. 主要研究方向为信号处理, 计算机视觉, 生物医学图像处理, 机器学习与模式识别. 本文通信作者. E-mail: xiaoliang@mail.njust.edu.cn

练智超

博士, 南京理工大学计算机科学与工程学院副教授. 主要研究方向为医学图像处理, 神经影像, 机器学习与模式识别.E-mail: newlzcts@gmail.com