引用本文

蒋芸, 谭宁.基于条件深度卷积生成对抗网络的视网膜血管分割.自动化学报, 2021, 47(1): 136−147 doi:  10.16383/j.aas.c180285

Jiang Yun, Tan Ning. Retinal vessel segmentation based on conditional deep convolutional generative adversarial networks. Acta Automatica Sinica, 2021, 47(1): 136−147 doi: 10.16383/j.aas.c180285

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180285

关键词

生成对抗网络，残差网络，视网膜血管分割，条件模型，卷积神经网络 

摘要

视网膜血管的分割帮助医生对眼底疾病进行诊断有着重要的意义.但现有方法对视网膜血管的分割存在着各种问题, 例如对血管分割不足, 抗噪声干扰能力弱, 对病灶敏感等.针对现有血管分割方法的缺陷, 本文提出使用条件深度卷积生成对抗网络的方法对视网膜血管进行分割.我们主要对生成器的网络结构进行了改进，在卷积层引入残差模块进行差值学习使得网络结构对输出的改变变得敏感, 从而更好地对生成器的权重进行调整.为了降低参数数目和计算, 在使用大卷积核之前使用小卷积核对输入特征图的通道数进行减半处理.通过使用U型网络的思想将卷积层的输出与反卷积层的输出进行连接从而避免低级信息共享.通过在DRIVE和STARE数据集上对本文的方法进行了验证, 其分割准确率分别为96.08 %、97.71 %, 灵敏性分别达到了82.74 %、85.34 %, F度量分别达到了82.08 %和85.02 %, 灵敏度比R2U-Net的灵敏度分别高了4.82 %, 2.4 %.

文章导读

血管作为血液循环流动的管道, 遍布人体的各个部位, 尤其是眼底中含有大量的动脉血管, 是人身体内唯独采用无损伤手段就能够直接观察到的较深层次的微血管系统, 为医生提供了有关眼睛状况和一般系统状态的丰富信息.眼科医生可以检测到高血压和糖尿病引起的全身血管负荷增加以及视网膜血管疾病如视网膜静脉阻塞和视网膜动脉阻塞等血管结构异常的早期征兆, 血管和血管系统引起的疾病会造成患者失明.随着技术的发展, 探索一种自动化方法分割视网膜血管已经被广泛研究.从而辅助医师诊断、分析患者病情, 对眼底疾病做出尽早的预防和诊治, 可有效避免病变所引发的视觉损失.目前在国内外的血管分割算法有匹配滤波器法[1]、多阈值的血管检测[2]、以形态学为基础技术血管分割[3]、区域生长法、使用神经网络的血管分割算法[4-5]、多尺度层分解和局部自适应阈值血管分割方法[6]、基于活动轮廓模型的血管分割[7]以及基于模糊聚类的分割方法[8]等.文献[9]提出了一种基于多尺度2D Gabor小波变换和形态学重构的血管分割方法.采用不同尺度的2D Gabor小波对视网膜图像进行变换, 并分别应用形态学重构和区域生长法对变换后的图像进行分割, 最后, 对以上两种方法分割的视网膜血管和背景像素点重新标记识别, 得到视网膜血管最终分割结果, 但对于血管与背景对比度低的图片, 分割假阳性率高.文献[10]提出一种融合区域能量拟合信息和形状先验的水平集血管分割方法, 通过形态学算子去除血管中心亮线, 并与原图像和掩模分别进行减法和点乘运算增强视网膜血管图像, 然后分析Hessian矩阵的特征值在血管、背景和病灶上不同的几何性质, 利用Hessian矩阵特征值重构血管响应函数, 最大化不同结构的差异, 从而获得视网膜血管初步图像, 但因为高斯卷积算子的影响, 导致复杂的血管交叉处分割不足.文献[11]提出通过三阶段对血管进行分割, 首先, 对眼底图像的绿色平面进行预处理, 并针对血管区域中提取二值图像, 然后, 使用基于像素邻域一阶和二阶梯度图像提取的8个特征集合, 使用高斯混合模型分类器对两个二值图像中的所有其余像素进行分类, 血管的主要部分与分类的血管像素结合, 但存在微血管易断的问题.文献[12]使用将分割任务重塑为从视网膜图像到血管图的跨模态数据转换的分割监督方法, 提出了一种具有较强诱导能力的广泛深度神经网络模型, 并给出了一种有效的训练策略.文献[13]一种将异构情境感知功能与区分性学习框架相结合的方式对眼底血管图片进行分割.文献[14]使用监督分割技术, 该技术使用在全局对比度归一化, 零相位白化以及使用几何变换和校正进行预处理的样本上训练深度神经网络, 对噪声有较强的适应能力, 但依旧无法克服微血管易断的问题, 分割的准确率也有待提高.综上所述, 虽然国内外研究人员已提出很多血管分割方法, 但大部分分割的结果精度不高, 性能也有很大的改善空间.针对现有方法对视网膜血管分割不足, 准确率不高, 对噪声、病灶敏感等问题, 于是使用生成式思想分割出高精度、高准确率的视网膜血管图像.本文主要工作包括:

1) 对于之前所提出的方法中存在的局限性进行了详细的分析后, 针对之前方法对视网膜血管分割效果不理想的问题, 本文使用生成式框架对眼底视网膜血管进行分割, 通过生成器和判别器两者之间进行对抗训练, 相互优化各自的网络结构, 从而实现了一种自动分割视网膜血管的方法.

2) 提出了一个新的网络结构如图 5, 利用残差网络的思想, 使得网络结构对输出的变化和权重的改变变得敏感, 从而更好地对权重进行了调整, 提高分割的效果, 也缓解了梯度减少, 解决了梯度消失的问题.在使用3 ××3的卷积之前使用1 × 1的卷积作为瓶颈层对输入的特征图进行降维, 然后用3 × 3的卷积核对维度进行还原, 降低了网络的复杂度, 保持了精度又减少了计算量.

3) 由于编码器-解码器这种网络结构要求所有的信息流通过所有的网络层, 在输入和输出之间共享大量本可直接穿过网络层的低级信息.为了避免出现这种情况, 本文使用了U型网络结构的思想, 对于n层的网络, 将第i层的输出和第n−i层的输出进行拼接, 作为第n−i+1层的输入.

图 1  视网膜血管图像分割模型

图 2  条件生成对抗网络模型

图 3  卷积层

视网膜血管的正确分割对帮助医生进行眼底疾病的诊断具有重大的实际意义.本文使用条件深度卷积生成对抗网络对眼底视网膜进行分割, 在生成器中使用卷积对图像的特征进行了若干次提取后通过反卷积生成对应的视网膜的血管图像, 我们在生成器中加入残差网络模块, 由于残差网络对特征值的改变非常敏感性, 使得提取的特征更加准确.为了降低模型的规模, 在每次进行3×3的卷积之前通过1×1的卷积进行降维, 在保证分割的准确性的情况下减少了参数的数量和计算量.我们分别DRIVE和STARE数据集上对本文提出的方法的可行性进行了验证, 在DRIVE和STARE数据集上的准确率分别达到了96.08 %和97.71 %, F度量分别达到了82.08 %和85.02 %, 通过对分割出的视网膜血管图像进行分析和比较, 本文提出的方法与其他方法相比更具有优势.

作者简介

蒋芸

工学博士.西北师范大学计算机科学与工程学院教授.主要研究方向为数据挖掘, 粗糙集理论及应用.E-mail: jiangyun@nwnu.edu.cn

谭宁

西北师范大学计算机科学与工程学院硕士研究生.主要研究方向为深度学习, 医学图像处理.本文通信作者.E-mail: tanning2315@126.com