雷涛, 李云彤, 周文政, 袁启斌, 王成兵, 张小红. 数据与模型联合驱动的陶瓷材料晶粒分割. 自动化学报, 2022, 48(4): 1137−1152 doi: 10.16383/j.aas.c200277

Lei Tao, Li Yun-Tong, Zhou Wen-Zheng, Yuan Qi-Bin, Wang Cheng-Bing, Zhang Xiao-Hong. Grain segmentation of ceramic materials using data-driven jointing model-driven. Acta Automatica Sinica, 2022, 48(4): 1137−1152 doi: 10.16383/j.aas.c200277

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200277?viewType=HTML

图像分割, 卷积神经网络, 鲁棒分水岭变换, 特征融合

研究陶瓷晶粒尺寸分布对估计陶瓷样品的物理属性具有重要意义, 当前主要依赖人工方法测量晶粒尺寸, 由于晶粒形状不规则且大小不一, 因此人工方法测量效率低、误差大. 针对该问题, 提出一种数据与模型联合驱动的陶瓷材料晶粒分割算法. 该算法首先通过图像预处理解决材料表面反光导致的灰度不均匀问题; 其次利用本文提出的鲁棒分水岭变换实现图像中晶粒的预分割, 解决传统分水岭算法存在的过分割以及分割区域个数与轮廓精度难以平衡的问题; 最后提出轻量级富卷积特征网络输出晶粒轮廓, 并利用该轮廓对预分割结果进行优化. 与主流图像分割算法相比, 该算法一方面利用鲁棒分水岭变换实现了更为准确的晶粒区域定位, 另一方面利用图像的低层与高层特征融合获取了更为精准的晶粒轮廓. 实验结果表明, 该算法不仅能够实现陶瓷材料晶粒尺寸的精准计算, 而且具有较高的计算效率, 为分析陶瓷材料物理属性提供了客观准确的数据.

陶瓷是一种多晶材料, 具有高熔点、高硬度和高耐磨性的特点, 目前已广泛应用于民生、电子通讯、医疗和军工等领域. 为了提升陶瓷材料品质, 研究人员通常利用扫描电子显微镜(Scanning electron microscope, SEM)对陶瓷样品扫描成像, 通过分析图像中晶粒的尺寸分布来估计陶瓷样品的物理属性. 扫描电子显微镜的工作原理是通过高压将电子束打在样品表面, 电子与样品表面材料相互作用产生电信号, 对电信号接收处理后显示成像结果. 陶瓷材料的SEM图像由材料区域(即晶粒)和晶粒间的空隙(即晶界)组成, 由于陶瓷是一种绝缘材料, 不具备导电的性质, 在成像时容易被高压电击穿. 为了避免此类情况, 需要控制晶粒尺寸尽可能小, 即同样大小的面积内存在更多的晶界, 使高压电从晶界导出, 保护陶瓷样本不被击穿. 然而晶粒尺寸直接决定了陶瓷材料的性能, 因此需要统计SEM图像中晶粒尺寸大小的分布, 进而间接建立实验条件与陶瓷材料性能的对应关系. 目前, SEM图像中的晶粒分析主要依靠人工手段, 测量结果具有明显的局限性: 首先, 一幅陶瓷SEM图像中包含大量晶粒, 人工统计耗时耗力, 测量难度大、效率低; 其次, 晶粒大小形状不规则, 人工测量易受主观因素影响而导致误差较大. 因此, 研究一种能够自动测量晶粒尺寸且准确率高、运算速度快的算法对分析陶瓷材料物理属性具有重要意义.

为了分析陶瓷材料的物理属性, 首先应该分析陶瓷材料SEM图像中的晶粒尺寸分布, SEM图像具有以下几个特点: 图像边缘信息丰富但纹理信息缺失, 图像中的晶粒大小不均匀且形状不规则, 图像的对比度较低. 基于上述特点, 利用图像分割技术实现对晶粒的分割, 然后统计晶粒的大小分布是一种可行的方法. 然而图像分割方法众多, 常用的方法有基于像素的图像分割方法、基于轮廓的图像分割方法、基于区域的图像分割方法和基于深度学习的图像分割方法.

基于像素的图像分割方法有阈值法和聚类方法, 其中阈值法严重依赖于阈值个数及参数选取, 实际分割结果较为粗糙, 而基于聚类的方法鲁棒性高, 因此应用较为广泛. 聚类方法主要涉及分层聚类、模糊聚类和谱聚类. 分层聚类算法利用像素之间的相似性进行层次分解, 该类算法计算简单, 便于执行, 但分割结果依赖于树的构建及阈值选取. 模糊聚类算法利用最小误差准则构建目标函数, 通过优化目标函数得到每个像素到聚类中心的隶属度, 根据隶属度可以实现像素分类. 该类算法能够实现图像的快速分割, 但容易忽略图像的空间结构信息、且对噪声较为敏感. 基于谱聚类的图像分割算法是将图像视为一个大的矩阵, 将图像分割问题转化为矩阵特征值分解问题, 该算法能获得连续域中的全局最优解, 但分割结果对相似度矩阵构建较为敏感.

基于轮廓的图像分割通常采用能量泛函方法, 该方法将图像分割问题转变为能量泛函的最小值求解过程, 主要涉及参数活动轮廓模型和几何活动轮廓模型. 参数活动轮廓模型首先构建一条可变形的参数曲线及相应的能量函数, 以最小化能量目标函数为目标, 通过控制参数曲线变形以实现具有最小能量的闭合曲线, 并将其作为目标轮廓. 几何活动轮廓模型以水平集方法为代表, 该类方法将轮廓视为一个高维函数的零水平集, 通过对该水平集函数进行微分, 从输出中提取零水平集, 进而得到轮廓线. 基于能量泛函的图像分割方法不依赖于图像的边缘及纹理特征, 因此对于噪声强度大、灰度不均匀、对比度较低且目标边界模糊的图像分割效果较好, 但算法计算复杂度较高, 且分割结果依赖于初始轮廓的选取.

基于区域的图像分割方法主要涉及两个重要步骤, 图像超像素分割和区域合并, 其基本思想是首先对图像进行过分割, 然后利用过分割结果进行区域合并以生成最终分割结果. 主流的超像素算法如简单的线性迭代聚类(Simple linear iterative clustering, SLIC)、线性谱聚类(Linear spectral clustering, LSC)、基于熵率的超像素分割算法等, 这些超像素算法大多都采用了局部网格内的轮廓迭代优化策略. 该类算法的优势在于能够获得基于预设区域数目的超像素分割结果, 且在局部区域内能获得较为准确的轮廓边界, 缺陷在于优化策略仅在局部区域内进行, 因此超像素块大小均匀, 很难捕获真实的目标轮廓.

近年来, 随着深度学习的快速发展, 图像语义分割越来越受到学者们的关注. 与传统的图像分割不同, 图像语义分割本质上是对图像的像素进行分类, 将输入图像中的每个像素分配一个语义类别, 以得到像素化的密集分类. Long等率先提出了面向图像语义分割的端到端全卷积网络(Fully Convolutional network, FCN), 该网络首次采用了低层与高层语义特征融合思路, 并采用转置卷积层作为解码器以代替全连接层从而实现了从图像像素到像素类别的转换. 与经典的卷积神经网络(Convolutional neural network, CNN)相比, FCN不仅有效提升了图像语义分割精度, 而且开创了编解码网络结构, 为其后各种图像语义分割网络奠定了基础. 图像分割结果除了与解码器结构设计有关外, 还与上下文信息获取密切相关. 为了获得更宽的感受野以学习更为有效的图像特征, He等首先将金字塔池化引入到网络结构中, 不仅解决了网络受限于输入图像的尺寸问题, 而且有效融合了图像的空间多尺度特征. Zhao等在此基础上提出了金字塔场景分析网络, 利用多尺度卷积核实现图像的空间金字塔池化, 从而使网络能够捕获图像的多尺度特征, 优化网络对复杂场景的理解能力. 近来, Chen等利用卷积核膨胀的思路扩大感受野, 使用了计算量更小且更有效的空洞空间金字塔池化来完成图像的多尺度信息融合. 此外, 针对图像的轮廓预测, Cheng等提出了富卷积特征网络(Richer convolutional features, RCF), 该网络在每一个卷积层都计算其损失函数, 且将所有层的特征信息进行融合得到最终的特征, 其中深层特征可以定位图像的轮廓边缘, 浅层特征可以为深层特征补充细节. 近年来, 学者们发现多尺度的特征表达能有效改善图像分割效果, 因此Gao等构建了一个分层密集连接的模块Res2Net, 以细粒度表示多尺度特征, 并增加了每个网络层的感受野范围. 针对多尺度特征融合问题, Li等提出了深层特征聚合网络, 该网络通过轻量子网络的级联来实现多尺度特征表达并有效减少了参数数目. 常规的多尺度融合方法缺少特征权重信息, 对此, Ding等通过设计尺度选择策略, 提出了CGBNet, 该网络通过在每个空间位置选择性地融合来自不同尺度特征的分割结果, 进而提高了图像的分割精度.

尽管当前已经涌现出大量图像分割算法, 这些算法能解决图像分割领域存在的多种问题, 在很多特殊应用场景中能够满足实际应用需求. 然而扫描电镜图像分割面临两个困难: 首先, SEM图像具有非常高的分辨率, 现有图像分割算法对SEM图像分割耗时较长; 其次, SEM图像采集成本较高, 很难像常规图像一样形成海量数据集, 因此难以直接利用深度卷积神经网络实现端到端的目标分割. 此外, 针对陶瓷材料晶粒分割问题, 由于陶瓷材料SEM图像主要呈现晶粒的轮廓信息, 缺少纹理细节信息, 通常需要大量的预处理及交互处理, 因此很难将主流的图像分割算法直接应用到晶粒分割中. 对此, 薛维华等提出了一种基于图像序列间相似性的晶粒组织图像分割方法, 该方法利用边缘检测、骨架化、断点连接等一系列操作以实现晶粒轮廓提取. 尽管该方法能够获得晶粒的分割结果, 但需要设置较多参数, 且对光照较为敏感、鲁棒性较低. 近来, Jiang等提出一种用于砂岩分析的晶粒自动分割方法, 该研究采用超像素与模糊聚类相结合的方式对砂岩图像进行分割, 获得了较好的砂岩晶粒分割效果. 然而该方法依赖于SLIC超像素分割结果及后续的区域合并算法, SLIC在陶瓷材料SEM图像上很难获得好的预分割结果, 因此这种方法不适合陶瓷材料SEM图像的晶粒分割. 在此基础上, Banerjee等提出一种晶粒自动分割及晶粒度量方法, 该方法首先检测图像边缘并执行二值化处理, 然后利用形态学闭运算及膨胀操作获取封闭轮廓, 利用小区域移除及轮廓细化运算获取单线条封闭轮廓. 与之前的方法相比, 该方法计算简单, 对灰度值较为均匀的SEM晶粒图像容易获得好的分割结果, 然而不足在于该方法主要依赖图像二值化运算提取轮廓, 忽略了图像的灰度细节信息, 因此对于复杂晶粒图像容易发生误分割. 上述方法均利用无监督图像分割技术实现晶粒分割, 将基于监督学习的图像分割技术应用到SEM图像晶粒分割时, 通常面临人工标注成本高, 能够获得的训练样本有限, 且利用深度学习获得的图像分割结果通常存在边缘精度较低等问题, 诸多限制导致当前的图像分割技术难以有效解决陶瓷材料SEM图像中的晶粒分割难题.

在无监督图像分割算法中, 基于像素分类的图像分割、基于区域信息的图像分割都依赖于图像的纹理特征, 而陶瓷材料SEM图像中的纹理信息缺失, 导致这两类方法难以实现有效的图像分割. 鉴于此类图像边缘信息丰富, 本文将采用基于轮廓的图像分割策略. 在此类方法中, 分水岭是最为流行的一种算法. 然而分水岭算法依赖于图像梯度, 且存在过分割问题, 因此基于数据与模型联合驱动的方式, 提出了基于鲁棒分水岭变换联合轻量级富卷积特征网络(Lightweight and richer convolutional features jointing robust watershed transform, LRCF-RWT)的陶瓷材料晶粒分割算法, 提出的算法具有以下两个贡献:

1) 利用鲁棒分水岭变换实现了晶粒的快速预分割, 既解决了传统分水岭算法的过分割问题, 又解决了分割区域个数与轮廓精度难以平衡的问题, 较主流的超像素算法能够获得更好的陶瓷材料SEM图像预分割结果;

2) 提出了轻量级RCF网络-LRCF (Lightweight and richer convolutional features), 并将LRCF网络与RWT (Robust watershed transform)相结合, 兼顾两者的优势, 一方面获取正确的分割区域, 另一方面获取更为精准的轮廓定位. 采用深度可分离卷积将原始RCF网络模型从113 MB 压缩为13.7 MB, 从而有效降低了LRCF对计算和内存资源的消耗; 利用LRCF轮廓预测结果修正RWT的预分割结果, 即数据与模型联合驱动的方式, 实现了分割精度的明显提升.

图 1  总体流程图

图 11  第一组分割结果对比(未镀金图像)

图 12  第二组分割结果对比(镀金图像)