引用本文

金侠挺, 王耀南, 张辉, 刘理, 钟杭, 贺振东. 基于贝叶斯CNN和注意力网络的钢轨表面缺陷检测系统. 自动化学报, 2019, 45(12): 2312−2327 doi: 10.16383/j.aas.c190143

Jin Xia-Ting, Wang Yao-Nan, Zhang Hui, Liu Li, Zhong Hang, He Zhen-Dong. DeepRail: automatic visual detection system for railway surface defect using Bayesian CNN and attention network. Acta Automatica Sinica, 2019, 45(12): 2312−2327 doi: 10.16383/j.aas.c190143

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190143

关键词

钢轨表面缺陷，视觉检测，贝叶斯卷积神经网络，注意力机制，类别不平衡 

摘要

面向复杂多样的钢轨场景, 本文扩展了最先进的深度学习语义分割框架DeepLab v3+ 到一个新的轻量级、可伸缩性的贝叶斯版本DeeperLab, 实现表面缺陷的概率分割. 具体地, Dropout被融入改进的Xception网络, 使得从后验分布中生成蒙特卡罗样本; 其次, 提出多尺度多速率的空洞空间金字塔池化(Atrous spatial pyramid pooling, ASPP)模块, 提取任意分辨率下的密集特征图谱; 更简单有效的解码器细化目标的边界, 计算Softmax概率的均值和方差作为分割预测和不确定性. 为解决类别不平衡问题, 基于在线前景 − 背景挖掘思想, 提出损失注意力网络(Loss attention network, LAN)定位缺陷以计算惩罚系数, 从而补偿和抑制DeeperLab的前景与背景损失, 实现辅助监督训练. 实验结果表明本文算法具有91.46 %分割精度和0.18 s/帧的运行速度, 相比其他方法更加快速鲁棒.

文章导读

铁路元件故障诊断是维系列车安全运行的重要保障, 轨道表面语义分割要求了像素级别的场景解析. 处于服役状态的钢轨受到轮轨的挤压、冲击、磨损等接触应力以及材料微观组织退化等影响, 其健康状况和性能质量不断恶化, 从而形成塌陷、剥离、断轨、滚动接触疲劳裂纹、内核损伤、压溃、侧磨、腐蚀等表面缺陷. 例如, 塌陷是由于车轮撞击轨道而导致“擦伤”的金属疲劳, 并随着时间推移使得钢轨退化. 母材从轨头脱落的现象称为剥离, 如果不加以控制, 这些潜在损伤将进一步恶化金属而造成断轨. 可见, 伤损模式与缺陷类型的多样性和动态性给已有的轨道检查技术带来了巨大挑战.

传统的视觉方法[1-5]利用低级别的灰度特征, 应用于无标记的钢轨样本. 贺振东等[1]提出反向P-M扩散模型进行图像增强和提取缺陷边缘. Resendiz等[3]结合Gabor滤波器与光谱估计, 提出多信号分类(Multiple signal classfication, MUSIC)算法以识别轨道元件、道岔和结缘节. Liang等[5]提出基于ANC和时频特性的方法, 识别车轮扁疤和钢轨表面缺陷. 但是, 这些方法都不适用于基于条件的复杂钢轨场景, 例如低信噪比、反射不均、铁锈油污、光照不足和过度曝光.

1) 基于深度卷积神经网络的缺陷检测

近年来, 很多成功的深度学习框架相继提出用于各类铁路元件检测, 包括紧固件[6-7]、轨面塌陷及裂缝[8-9]、松散股[10-11]和开口销[12]. Gibert等[6-7]提出多任务深度架构来检测铁路轨道的拉杆和紧固件. Faghih-Roohi等[8]提出了具有多种结构和激活性能的深度卷积神经网络 (Deep convolutional neural networks, DCNN), 用于钢轨缺陷检测. Masci等[9]提出了一种最大池化CNN对钢材缺陷分类, 避免了耗时的预处理. Chen等[10]级联了三个基于DCNN的检测阶段, 从粗到细地定位和识别悬臂节点及其紧固件缺陷. Liu等[11]在Faster R-CNN中融入特征提取模块ILNET, 利用基于马尔科夫随机场的分割方法ICM(Intersecting cortical model)/MPM(Maximization of the posterior marginal), 定位和分割等电线路的松散股. Zhong等[12]研究一种改进的三阶段缺检测网络PVANET++, 用于开口销故障诊断.

然而, 大多数深度学习方法产生点估计作为输出, 因此无法获得模型对其预测的置信度. 随着AI系统在真实场景的应用, 比如自主驾驶、医疗诊断和工业检测, 模型置信度的额外知识对于决策是非常重要, 特别在主动学习[13]、半监督学习[14]和标签传播[15].

2) 贝叶斯深度学习

建立模型不确定性的神经网络为贝叶斯神经网络[16-17]. 通过推断网络权重的分布, 提供了深度学习模型的概率解释. 然而, 推理大型网络的后验分布是非常困难的, 通常在不显著提高模型性能的情况下增加了参数量, 导致昂贵的计算成本.

另一方面, 训练数据的严重缺乏极有可能导致参数化卷积网络的过度拟合. 因此, 正则化方法Dropout[18]广泛用于防止特征过拟合和自适应. 在随机梯度下降训练中, Dropout随机移除网络单元来从更多宽度缩减的稀疏网络中采样. 在测试时, 标准Dropout则近似于加权平均的效果, 即使用非稀疏网络的权重对所有稀疏网络的预测进行均衡化.

文献[19]中, Dropout作为网络权值的近似贝叶斯的变分推理法[20]. 具体地, 在测试时使用Dropout随机采样网络单元, 等效于对卷积滤波器的权值施加一个伯努利分布, 而不需要任何额外的模型参数. 因此, 作者认为这是从模型的后验分布中获得的蒙特卡罗样本, 从而样本的均值可解释为预测输出, 而方差可解释为模型不确定性. 本文正是利用该技术搭建了像素级别的概率语义分割.

3) 注意力机制

为了强化模型性能, 将最新的注意力机制引入到深度学习以构成“CNN + Attention”体系. 一方面, 它们用于学习权重分布, 即对输入数据或特征图的不同部位的专注度不同. Fu等[21]训练一个注意力提议网络APN, 将精细尺度只聚焦在原图的显著区域. Wang等[22]提出增强特征图的感受野, 突出有利于分类的特征, 相当于增大了网络深度.

另一方面, 注意力机制用于任务解耦. He等[23]提出Mask RCNN实例分割, 重新分配了分类和分割网络的学习能力, 极大降低了原始任务的难度. Lin等[24]对浅层网络的Loss进引导, 只反传粗略目标位置上的Loss而忽略其他对象, 从而加快网络训练和降低学习难度. 本文中, 提出了一个注意力网络来补偿和抑制另一网络中不同类别的Loss分量, 实现辅助训练监督. 综上所述, 本文提出一种基于多模型的钢轨表面缺陷检测系统, 称作DeepRail. 主要贡献如下:

1) 提出一种基于多模型的钢轨表面缺陷检测系统DeepRail, 用于铁路轨道的精确鲁棒检测.

2) 一个新的轻量级、可伸缩性的贝叶斯卷积神经网络DeeperLab获取概率分割和模型不确定性.

3) 改进Xception网络融入Dropout来近似后验分布, 通过从网络权值的伯努利分布中采样.

4) 提出注意力网络(Loss attention network, LAN)监督训练DeeperLab, 降低原始任务的难度, 达到最优权重.

图 1  钢轨表面成像系统

图 2  本文提出缺陷检测算法的整体框架

图 3  贝叶斯网络DeeperLab的编码器 − 解码器架构

针对复杂多样的钢轨场景, 本文扩展了最先进的深度学习框架DeepLab v3+ 到一个新的轻量级、可伸缩性的贝叶斯版本DeeperLab, 实现表面缺陷的 概率分割. 具体地, 嵌有Dropout的改进Xception网络在预测时随机前向遍历, 使得从后验分布生成蒙特卡罗样本, 而没有额外的参数化. 此外, 空洞空间金字塔池化(ASPP)密集地提取全局和局部的上下文信息, 解码器输出Softmax概率的均值和方差作为语义分割和模型不确定性, 这是其他DCNN无法做到的. 同时, 为解决类别不平衡问题, 提出在线前景 − 背景挖掘思想, 训练中利用注意力网络LAN获得加权系数, 从而补偿和抑制DeeperLab 的前景与背景Loss分量, 实现辅助监督训练. 实验结果表明, 注意力机制重新分配了主体网络的学习能力, 降低了原始任务的难度, 从而快速获得最优权重和精确的分割预测. 本文方法具有91.46 %分割精度和0.18 s/帧的运行速度, 相比其他方法更加精确快速.

作者简介

金侠挺

湖南大学电气与信息工程学院硕士研究生. 2017年获得长沙理工大学学士学位. 主要研究方向为机器学习, 深度学习, 视觉检测. E-mail: xtchin@hnu.edu.cn

王耀南

中国工程院院士, 湖南大学电气与信息工程学院教授. 1995年获得湖南大学博士学位. 主要研究方向为机器人学, 智能控制和图像处理. 本文通信作者. E-mail: yaonan@hnu.edu.cn

张辉

长沙理工大学副教授. 2012 年获得湖南大学博士学位. 主要研究方向为工业机器视觉, 数字图像处理. E-mail: zhanghuihby@126.com

刘理

湖南大学博士研究生. 2006年获得东南大学硕士学位. 主要研究方向为机器人视觉测量, 路径规划及智能控制. E-mail: liuli@hnu.edu.cn

钟杭

湖南大学博士研究生. 2013年和2016年分别获得湖南大学学士学位和硕士学位. 主要研究方向为机器人控制, 视觉伺服和路径规划. E-mail: zhonghang@hnu.edu.cn

贺振东

郑州轻工业大学副教授. 2016年获得湖南大学博士学位. 主要研究方向为机器视觉, 机器学习. E-mail: hezhendong_itl@163.com