引用本文

陈芳, 张道强, 廖洪恩, 赵喆. 基于序列注意力和局部相位引导的骨超声图像分割网络. 自动化学报, 2024, 50(5): 970−979 doi: 10.16383/j.aas.c210298

Chen Fang, Zhang Dao-Qiang, Liao Hong-En, Zhao Zhe. Bone ultrasound segmentation network based on sequential attention and local phase guidance. Acta Automatica Sinica, 2024, 50(5): 970−979 doi: 10.16383/j.aas.c210298

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210298

关键词

骨科导航，超声图像分割，局部相位，序列注意力 

摘要

在超声辅助的骨科手术导航中, 需要从采集的超声图像序列中精确分割出骨结构, 并展示给医生, 来辅助医生进行术中决策. 但是, 图像噪声、成像伪影以及模糊的骨边界导致从超声图像序列中精确分割提取骨结构十分困难. 为解决该问题, 提出一种新的基于序列注意力与局部相位引导的骨超声图像分割网络. 该网络一方面自适应地利用超声序列帧之间的关系即序列注意力来辅助骨结构的语义分割. 另一方面, 该网络通过引入局部相位引导模块, 突出骨边缘信息, 进一步提高分割精度. 利用包含19 050幅图像的骨超声数据集, 进行交叉实验、消融实验并与最新的超声骨分割方法进行比较. 实验结果表明所提方法对骨结构分割精度高, 优于现有的超声骨分割方法.

文章导读

超声设备可以为骨科手术提供无辐射、实时和便携的成像方式, 因此广泛应用于计算机辅助骨科手术导航中, 如超声引导的经皮舟状骨固定与骨盆骨折手术等[1-2]. 在基于超声的骨科手术导航中, 医生通过超声成像系统对病人骨结构进行成像. 为给医生展示直观的骨信息, 还需要从采集的超声序列中精确分割出骨结构, 来帮助医生进行术中决策[3]. 然而, 复杂的噪声、成像伪影、有限的成像视野以及模糊的骨边界导致从超声序列中分割提取骨结构十分困难[4]. 因此, 根据超声对骨结构成像的特点, 开发精确自动的骨超声图像分割方法, 是保证超声成像有效应用于骨科手术导航的重要基础.

从超声图像序列中分割骨表面结构的早期研究主要利用了图像灰度和图像梯度信息[4-5]. 然而, 这些方法在处理低对比度的骨超声图像时, 精确度低, 并且会受到采集设置、图像伪影和患者体重指数(Body mass index, BMI)的影响[4, 6]. 为解决这一挑战, 相关研究提出基于局部相位信息的骨表面增强与骨结构分割方法[4, 7]. 如, 利用带通正交滤波器对超声图像进行频域滤波, 提取局部相位信息, 从而增强骨表面信息[4]. 目前, 最常见的滤波器包括Log-Gabor滤波器、局部相位张量(Local phase tensor, LPT)滤波器等[4]. 利用局部相位信息进行骨表面增强后, 往往需要进一步通过自底向上光线投射或者阈值分析等后处理技术, 对超声图像中的骨结构进行分割提取[5, 8]. 尽管基于局部相位进行骨表面增强的分割方法对图像伪影和低对比度的骨骼表面更为有效, 但是骨结构分割的精度取决于所用后处理方法的鲁棒性[4-5]. 另外, 基于局部相位的分割方法需要优化带通正交滤波器的参数, 会消耗大量的处理时间, 导致这些方法难以实现实时的超声图像骨分割处理[4, 9].

随着深度学习技术在图像处理和计算机视觉领域的广泛应用, 利用深度学习技术进行医学影像分析已经成为研究重点[10-11]. 超声图像分割属于医学影像分析的一个研究点[12], 相关研究已证明基于卷积神经网络(Convolutional neural network, CNN)的超声图像分割方法相比于传统方法在足够的训练数据下可以获得更好的分割结果[5, 13]. 比如在文献[14]中, 一种改进的U-Net网络结构被提出, 用来分割超声图像中的椎骨表面. 然而, 该研究在测试集中排除了包含低质量骨表面的超声图像, 因此方法评估不够全面. 近年来, 各种滤波特征引导的卷积神经网络方法也相继提出[15-18]. 这些方法主要是通过将局部相位张量图像或增强骨阴影图像等滤波后的特征融入到卷积神经网络中, 来实现超声图像中的骨结构分割. 如Wang等[16]提出将局部相位图与卷积神经网络进行后端融合, 实现骨结构分割. Alsinan等[17]也提出基于滤波层引导的卷积神经网络模型, 但是, 该方法需要提前计算超声图像滤波信息. 因此, 对于单幅图像就需要超过1 s的预处理时间, 难以满足实时应用. 此外, Luan等[18]也提出一种端到端的BoneNet模型, 该模型将残差网络与U-Net网络结合进行骨分割, 但该方法只在686幅超声图像上进行实验. 综上所述, 尽管基于卷积神经网络的超声图像分割方法已在超声图像骨分割场景中进行研究, 但现有方法仍存在一些未解决或未考虑的问题: 1)计算图像滤波信息需要额外的处理时间, 影响了实际应用; 2)采集的超声图像序列中包含的骨结构具有连续性. 因此, 在提取当前图像帧的骨结构时, 需要参考之前图像帧的相关信息, 但现有方法忽略了超声图像序列信息. 与超声序列分割任务类似的研究方向是视频语义分割, 即为视频帧确定像素级的语义标签. 视频分割相关论文指出, 充分利用视频中的时序信息, 将注意力机制引入视频分析任务中, 可提升视频分析准确率[19-21]. 受此启发, 可以将序列时序信息和注意力机制引入超声序列分割任务中.

针对超声图像中骨分割任务的挑战以及现有基于卷积神经网络的超声图像分割方法的不足, 本文提出一种新的基于序列注意力与局部相位引导的超声图像分割网络, 从超声图像中进行精确的骨结构分割提取. 该网络一方面通过开发的序列注意力模块来挖掘超声序列中图像帧之间的关联信息, 利用超声序列中图像帧之间的关系辅助骨结构的精确分割; 另一方面, 该网络通过引入局部相位引导模块, 来自动获取超声图像滤波信息, 以突出骨边缘信息, 进一步提高超声图像中骨结构分割的精度.

图 1  基于序列注意力与局部相位引导的骨超声图像分割网络系统框图; 图中ConvA表示卷积核为1×1 、步长为1的卷积操作; ConvB表示卷积核为3×3、 步长为1的卷积操作

图 2  骨超声图像序列采集示意图

图 3  10折交叉实验中训练和测试超声图像帧数的分布

骨科手术中, 医生通过超声成像系统对病人的骨结构进行成像. 为给医生展示直观的骨信息, 需要从采集的超声序列中精确分割出骨结构, 来帮助医生进行术中决策. 本文提出一种新的基于序列注意力与局部相位引导的超声图像分割网络模型. 该模型一方面通过序列注意力模块来挖掘超声序列图像帧之间的关系以辅助骨结构的精确分割; 另一方面, 通过引入局部相位引导模块, 来增强骨边缘信息, 进一步提高超声图像中的骨结构分割的精度. 本文所使用的数据集包含10个志愿者的19 050幅超声骨图像. 基于该数据集, 我们进行了10折交叉实验和消融实验, 并与最新的其他超声骨分割方法进行了比较. 通过分析分割结果的平均欧氏距离AED和交并比IoU值, 可以看出本文所提出的基于序列注意力与局部相位引导的超声图像分割网络对骨结构分割精度更高, 鲁棒性更强. 目前, 本文所采集的超声骨数据集均来自健康的志愿者, 数据集未能体现骨结构病变情况. 为解决该问题, 未来将采集并使用包含骨疾病患者的数据集, 包括骨折患者、骨关节炎患者的超声图像数据等.

作者简介

陈芳

南京航空航天大学计算机科学与技术学院副教授. 主要研究方向为医学图像处理, 计算机辅助手术导航. 本文通信作者. E-mail: chenfang@nuaa.edu.cn

张道强

南京航空航天大学计算机科学与技术学院教授. 主要研究方向为医学图像处理, 机器学习. E-mail: dqzhang@nuaa.edu.cn

廖洪恩

清华大学医学院教授. 主要研究方向为三维成像, 微创诊疗. E-mail: liao@tsinghua.edu.cn

赵喆

清华大学附属北京清华长庚医院骨科与运动医学中心副主任医师, 清华大学临床医学院副教授. 主要研究方向为创伤骨科, 计算机导航手术, 骨科植入物设计. E-mail: zhaozhao_02@163.com