引用本文

陈清江, 张雪. 基于并联卷积神经网络的图像去雾. 自动化学报, 2021, 47(7): 1739−1748 doi: 10.16383/j.aas.c190156

Chen Qing-Jiang, Zhang Xue. Single image dehazing based on multiple convolutional neural networks. Acta Automatica Sinica, 2021, 47(7): 1739−1748 doi: 10.16383/j.aas.c190156

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190156

关键词

图像去雾，卷积神经网络，大气散射模型，多尺度卷积，递归双边滤波 

摘要

针对现有的单幅图像去雾问题, 提出了一种基于并联卷积神经网络的单幅图像去雾算法, 以端对端的方式实现图像去雾. 首先, 使用雾天RGB图像YUV变换的Y、U和V分量构建并联卷积神经网络, 自适应获得雾霾特征; 网络结构由两个子网络组成, 较深的网络预测清晰图像的亮度通道, 较浅的网络预测色度通道和饱和度通道. 最后, 采用递归双边滤波, 对去雾后的图像进行滤波, 可以得到更加清晰的无雾图像. 实验结果表明, 本文去雾算法无论是在合成雾天图像数据集还是自然雾天图像数据集上, 都具有良好的对比度与清晰度. 在主观评价和客观评价方面, 本文去雾算法都优于其他对比算法.

文章导读

雾霾天气情况下, 悬浮在大气中的微小颗粒对光线的散射和吸收作用, 导致采集到的图像对比度与饱和度降低, 色调偏移, 严重影响了户外视觉系统的效用. 因此, 雾天图像的清晰化处理成为计算机视觉领域中的一个重要问题. 现有的图像去雾方法主要有两种, 其一是基于图像增强的方法, 这种方法不考虑图像退化的原因, 会造成图像信息的损失. 如基于颜色恒常性的Retinex理论[1-2]、基于路径Retinex算法[3-4]和迭代形式的Retinex算法[5], 这些算法都存在参数调整困难且算法复杂度高的问题. 其二是基于图像复原的方法, 此方法利用图像退化的先验知识和假设来恢复图像, 去雾图像信息缺失较基于物理模型的图像复原方法少, 去雾效果自然. 如He等[6]提出了一种基于暗原色先验知识统计(Dark channel prior, DCP)的方法. 但He的暗通道先验方法过高估计雾的浓度,导致去雾后图像整体亮度偏暗,且天空区域常出现失真现象. Zhu等[7]提出了颜色衰减先验(Color attenuation prior, CAP). 尽管上述算法取得了很大的进步, 但它们仍然依赖于各种先验知识, 具有一定的局限性.

近些年来, 随着深度学习理论在语义分割[8]、目标识别[9]、图像超分辨率重建[10]等方面的不断发展, 一些学者将该理论用于图像去雾领域也获得了较好的效果. 如Cai等[11]提出的DehazeNet训练预测的传输图. Ren等[12]设计了多尺度卷积神经网络(Multi-scade convolutional neural network, MSCNN)估计了场景的透射率. Li等[13]提出了Cascaded CNN, 该网络分别估计大气光值和传输图. 由于这几种基于卷积神经网络的方法是分别估计介质传输图和大气光值的, 所以增加了恢复去雾图像的累计误差. 为此, 我们的目标是通过直观地最大化预测图像和无雾图像之间的视觉相似性来训练一个去雾卷积神经网络.

与以往的估计介质传输图方法不同的是, 我们直接利用雾天图像和清晰图像训练卷积神经网络. 为此, 本文提出了一种基于并联卷积神经网络的单幅图像去雾算法. 首先, 使用雾天RGB图像YUV变换的Y、U和V分量构建并联卷积神经网络, 自适应获得雾霾特征; 其次, 利用多尺度卷积提取雾霾特征与重建, 并且跳跃连接减少了网络参数, 提高了网络训练速度; 最后, 采用递归双边滤波, 对去雾后的RGB图像进行滤波, 可以得到更加清晰的无雾图像.

图 1  本文网络结构

图 3  本文算法流程图

图 7  不同算法的峰值信噪比和结构相似度的对比结果

本文提出的基于并联卷积神经网络的图像去雾算法, 其网络结构的设计充分考虑了雾天图像与清晰图像YUV各个通道之间的关系, 两个子网络的分别预测有效地提高了网络模型的预测精度, 而且无论是在去雾图像色彩自然, 具有良好的清晰度与对比度, 且运行时间快, 能应用于实际. 但算法在浓雾区域去雾效果较一般, 随后的研究内容将放在浓雾区域的去雾上, 以获得更优的去雾效果.

作者简介

陈清江

西安建筑科技大学理学院副教授. 2006年于西安交通大学计算数学专业获博士学位. 主要研究方向为小波分析与图像处理.E-mail: qjchen66xytu@126.com

张雪

西安建筑科技大学理学院硕士研究生. 主要研究方向为小波分析与图像处理. 本文通信作者.E-mail: zhangxueyanice@163.com