引用本文

刘悦, 魏颖, 贾晓甜, 王楚媛.基于线性化核标签融合的脑MR图像分割方法.自动化学报, 2020, 46(12): 2593−2606 doi: 10.16383/j.aas.c180407

Liu Yue, Wei Ying, Jia Xiao-Tian, Wang Chu-Yuan. Linearized kernel-based label fusion method for brain MR image segmentation. Acta Automatica Sinica, 2020, 46(12): 2593−2606 doi: 10.16383/j.aas.c180407

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180407

关键词

脑结构分割，核标签融合，增强特征，Nyström方法，虚样本 

摘要

深层脑结构的形态变化和神经退行性疾病相关, 对脑MR图像中的深层脑结构分割有助于分析各结构的形态变化.多图谱融合方法利用图谱图像中的先验信息, 为脑结构分割提供了一种有效的方法.大部分现有多图谱融合方法仅以灰度值作为特征, 然而深层脑结构灰度分布之间重叠的部分较多, 且边缘不明显.为克服上述问题, 本文提出一种基于线性化核多图谱融合的脑MR图像分割方法.首先, 结合纹理与灰度双重特征, 形成增强特征用于更好地表达脑结构信息.其次, 引入核方法, 通过高维映射捕获原始空间中特征的非线性结构, 增强数据间的判别性和线性相似性.最后, 利用Nyström方法, 对高维核矩阵进行估计, 通过特征值分解计算虚样本, 并在核标签融合过程中利用虚样本替代高维样本, 大大降低了核标签融合的计算复杂度.在三个公开数据集上的实验结果表明, 本文方法在较少的时间消耗内, 提高了分割精度.

文章导读

人类的大脑是包含很多解剖结构的复杂神经系统, 位于大脑半球内部的重要深层结构包括丘脑、壳核、尾状核、苍白球、海马和杏仁核等.神经退行性疾病的发生会引起深层脑结构一系列的变化[1], 如:抑郁症病人的尾状核体积减小[2], 海马体积测量可以为阿尔兹海默症的早期诊断提供可靠依据[3].磁共振成像可以对脑和神经系统等软组织进行高分辨率成像, 是对大脑结构分析的有效临床方法, 因此, 对脑磁共振图像(Magnetic resonance image, MRI)中深层结构的精准分割是后续图像分析和疾病辅助诊断的基础.然而, 专家手动分割MRI十分耗时, 且分割结果受到各类因素影响.目前, 很多脑结构自动分割软件, 如FreeSurfer[4]和FIRST[5], 减轻了手动分割带来的负担, 但其精度仍需改善.

近年来, 脑结构的自动分割受到了广泛的关注[6-13].其中基于多图谱融合的分割方法是目前研究比较广泛的一类方法[14-15].该方法的主要思想是:利用图谱原图与目标图像的相关性和图谱标签中的先验信息, 将加权投票的结果或者重构误差作为标签融合的依据, 判断目标像素的类别.基于多图谱融合的分割方法分为图像配准和标签融合(Label fusion, LF)两步, 其中标签融合是最重要的一步, 有两种常见的方法, 一是基于非局部图像块的融合方法(Nonlocal patch-based method, PB)[16-18], 二是基于重构的融合方法[19-21].基于非局部图像块的方法(PB)在估计标签时, 仅考虑目标像素邻域内的像素, 通过计算图谱图像块之间的相似性来估计目标的标签. Coupé等[16]提出了基于PB方法的海马和心室分割方法. Rousseau等[17]将PB方法应用于脑组织(脑白质、脑灰质和脑脊液)和深层脑结构(丘脑、尾状核、壳核和苍白球等)的分割.基于重构的典型方法包括稀疏表示(Sparse representation classifier, SRC)[20]和字典学习(Dictionary learning, DL)[21].文献[20]首先将SRC用于多模态的脑部肿瘤分割. Tong等[21]改进了判别性字典学习方法(Discriminative dictionary learning, DDL), 离线学习字典, 在线分割海马.多图谱融合方法在脑MRI分割领域取得了较好的结果.

人类的视觉系统对于图像的灰度值敏感, 在基于多图谱融合的分割方法中, 灰度值是最常用的图像特征.然而, 深层脑结构灰度分布之间重叠部分较多, 且边缘不明显, 因此, 脑结构的分割不能仅仅依赖于灰度值.已有研究在心脏图像分割问题上将梯度特征和上下文特征拼接在一起, 并取得不错效果[22].借助该思想, 本文将灰度和纹理特征相融合, 形成增强特征向量, 用于表示脑MRI中的像素信息, 在第2节有详细说明.然而, 针对MRI中的深层脑结构所构建的特征向量不具有很好的线性相关性, 考虑到数据的非线性结构, 可以将相关特征映射到高维特征空间中, 使分类或回归结果更加准确[23-24].核方法(Kernel method)将高维特征数据的内积运算替换成核函数运算, 有效解决了映射形式未知的难题.近年来, 核方法广泛应用于多图谱融合方法中, 如核稀疏表示(Kernel SRC, KSRC)[25-26]和核字典学习(Kernel DL, KDL)[27-28]. Nguyen等[27]用核方法扩展字典学习算法, 如MOD (Method of optimal directions)和KSVD (K singular value decomposition)算法, 并在脑肿瘤分割上得到初步应用[29].

然而, 将核方法引入多图谱融合方法时, 有两点问题:一是在学习算法中需要已知数据的内积形式, 而构造内积有时较困难, 二是核矩阵的维度和样本数目相关, 学习算法的每次迭代都涉及到核矩阵的运算, 当样本集较大时, 耗费计算时间和存储空间.在深层脑结构分割问题中, 减少算法的时间消耗十分必要.本文针对上述两点问题, 提出了一种基于线性化核标签融合(Linearized kernel-based label fusion method, LK + LF)的脑结构分割方法.先计算虚样本, 再用虚样本替代标签融合方法中的原始样本, 避免每次迭代中的核矩阵计算.虚样本的计算分为两步, 第1步的目的是得到核矩阵的近似估计, 用Nyström方法[19, 30], 通过输入数据的子集对高维核矩阵进行低秩估计.第2步对低秩矩阵进行特征值分解, 计算得到虚样本.虚样本包含了隐式高维映射所包含的数据的非线性结构, 保证了核方法的准确率.线性化核方法只需要在计算虚样本的时候计算高维核矩阵, 与每次迭代都需要计算核矩阵相比, 节省了计算时间.具体方法细节在第2.2节和第2.3节描述.

本文在如下两方面对现有标签融合方法进行改进: 1)将灰度和纹理特征相结合作为像素的特征表示, 得到增强特征(Augmented feature, AF)向量, 将AF应用于基于标签融合的脑结构分割方法中. 2)将核方法用于基于原始特征空间的标签融合中, 并且针对核标签融合的两点问题, 引入Nyström方法, 对核矩阵进行低秩估计, 用虚样本替代高维特征空间中的未知样本, 减少核矩阵的计算时间.

本文结构安排如下:第1节简要介绍多图谱融合分割方法基础; 第2节阐述本文方法的实现细节和计算复杂度; 第3节通过实验验证本文方法的有效性; 第4节进行了讨论; 第5节对本文的研究内容进行总结.

图 1  搜索邻域示意图.图示为某一图谱MRI的搜索邻域, 对于每个图谱, 都以同样的方法选择搜索邻域内的图像块, 所有图像块集合成预定义字典

图 2  纹理特征计算过程.用LBP算子遍历整幅MRI, 计算每个像素的LBP值, 得到MRI对应的LBP图像

图 3  增强特征计算过程示意图.取MR图像和LBP图像同一位置的图像块, 拼接成增强特征向量

本文引入增强特征对像素进行表示, 并提出了基于线性化核标签融合的深层脑结构分割方法.实验结果表明, 增强特征和灰度特征相比, 可以提高标签融合方法的分割准确率.本文分析了图谱数目、搜索邻域、图像块大小、不同核函数、核函数参数、Nyström方法中涉及到的采样方法和采样率的取值对所提方法的影响.在三个数据集上的6种深层脑结构的分割结果表明了本文所提方法的有效性. LK + LF + AF方法不仅可以提高原始标签融合方法的分割准确率, 和传统核方法相比, 还减少了计算时间, 和深度学习方法相比, 本文方法也有较好的结果. MRI中的一些目标区域对比度低, 可通过对原始特征进行映射的方法区分各个像素, 故本文所提LK + LF + AF方法可以应用于其他MRI分割问题上, 如脑组织分割、脑皮层结构分割、肿瘤分割等, 还可以应用于其他类型的医学图像分割.

作者简介

刘悦

东北大学信息科学与工程学院博士研究生.主要研究方向为图像处理, 计算机视觉与模式识别. E-mail: 18512478164@163.com

贾晓甜

东北大学信息科学与工程学院模式识别与智能系统专业硕士研究生.主要研究方向为模式识别与图像处理. E-mail: jxt_neu@163.com

王楚媛

东北大学信息科学与工程学院模式识别与智能系统专业硕士研究生.主要研究方向为模式识别与图像处理. E-mail: wangchuyuan0718@163.com

魏颖

东北大学信息科学与工程学院教授.主要研究方向为图像处理与模式识别, 医学影像计算与分析, 计算机辅助诊断, 计算机视觉.本文通信作者. E-mail: weiying@ise.neu.edu.cn