引用本文

盖杉, 鲍中运.基于深度学习的高噪声图像去噪算法.自动化学报, 2020, 46(12): 2672−2680 doi: 10.16383/j.aas.c180271

Gai Shan, Bao Zhong-Yun. High noise image denoising algorithm based on deep learning. Acta Automatica Sinica, 2020, 46(12): 2672−2680 doi: 10.16383/j.aas.c180271

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180271

关键词

深度学习，图像去噪，卷积神经网络，残差学习，批量标准化 

摘要

为了更有效地实现高噪声环境下的图像去噪, 本文提出一种基于深度学习的高噪声图像去噪算法.该算法首先采用递增扩充卷积并且融合批量标准化和Leaky ReLU函数对输入含噪图像进行特征提取与学习; 然后通过结合递减扩充卷积和ReLU函数对提取的特征进行图像重构; 最后通过整合残差学习和批量标准化的端到端网络实现图像与噪声的有效分离.实验结果表明, 本文提出的算法不仅能够有效地去除高噪声环境下的图像噪声, 获得更高的峰值信噪比(Peak signal-to-noise ratio, PSNR)与结构相似度(Structural similarity index, SSIM), 而且还能够有效地改善图像的视觉效果, 具有较好的实用性.

文章导读

在实际应用中, 数字图像在传输过程中往往会受到成像设备与外部噪声环境干扰等因素的影响, 导致采集的图像质量明显下降.鉴于计算机视觉等许多科学领域对图像质量提出更高的要求, 因此图像去噪仍然是图像处理领域的热点研究课题之一.

在过去的几十年里, 随着对图像噪声的深入研究, 许多学者不断地提出新的图像去噪算法.三维块匹配(Block-matching and 3D filtering, BM3D)算法[1]能够充分挖掘自然图像中存在的自相似特性, 通过对相似块进行域变换进而达到图像的去噪效果.非局部算法[2]从图像整体的角度出发, 同时利用了局部平滑与全局自相似等特性, 取得了很好的去噪效果.

随着深度学习逐渐成为机器学习领域的研究热点, 深度卷积神经网络[3-5]在图像特征提取与识别[6-8]等领域的成功应用为解决图像去噪问题提供了新的思路, 尤其是高噪声环境下的图像去噪问题.与传统的图像去噪方法相比, 深度卷积神经网络具有更强大的学习能力, 通过使用大量含噪图像样本数据进行训练, 能够有效地提高网络模型对不同标准噪声的适应能力, 并使其具有更强的泛化能力.

在文献[9]中, Jain等提出一种全新的卷积神经网络结构, 并将其应用于图像去噪, 实验结果表明该网络模型能够取得与马尔科夫随机场(Markov random field, MRF)模型相当甚至更好的去噪效果. Burger等[10]提出的算法将多层感知机(Multi-layer perceptron, MLP)成功地应用于图像去噪.文献[11]提出一个可训练的非线性反应扩散模型TNRD (Trainable nonlinear reaction diffusion), 该模型通过展开固定数量的梯度下降前馈深度网络, 提高了图像的去噪性能.文献[12]中, Xie等将堆叠稀疏去噪自编码器方法应用于解决高斯噪声的移除并且实现了与K-SVD (Singular value decomposition) [13]相当的去噪效果.文献[14]中, Zhang等提出一种基于深度学习的去噪算法DnCNN (Feed-forward denoising convolutional neural networks, DnCNN).该算法采用训练单一的去噪模型实现图像去噪的任务, 同时对未知噪声水平的图像也有比较好的去噪效果.实验结果表明, 该算法的去噪性能和效率均优于BM3D.

上述这些经典的图像去噪算法虽然在训练目标设计、训练特征选择以及训练集规模上各不相同, 并且在低噪声环境下都能取得很好的去噪效果.但是, 这些算法在高噪声环境下的去噪效果却不太理想.为了进一步改善高噪声环境下的图像去噪质量, 本文提出一种对称式扩充卷积残差网络图像去噪算法.该算法首先通过对称式结构的卷积网络对输入噪声图像进行特征提取与学习, 然后对提取的图像特征进行重构, 最后通过整合残差学习和批量标准化实现图像与噪声的有效分离, 并输出与输入图像尺寸相同的残差图像.为了解决卷积操作导致的网络内部协变量转移问题, 本文使用批量标准化进行校正, 有效地提高了网络训练的效率.另外, 本文算法对非卷积后的图像进行零填充操作, 保证在图像大小不变的情况下, 降低了图像的边界伪影.实验结果表明, 本文提出的算法在去噪性能和效率上都表现得非常好.

图 1  本文模型结构示意图

图 2  不同网络结构模型训练收敛图

图 3  不同的去噪方法对lighthouse的去噪效果对比图

本文提出了一种基于深度学习的高噪声图像去噪算法, 该算法通过构造对称式扩充卷积残差网络, 并结合Leaky ReLU和ReLU双函数, 能够更好地适应高噪声环境下的图像去噪, 同时得到的去噪图像不存在边缘细节的受损、边界伪影和清晰度变差问题.此外, 本文提出的算法在继承和提高现有经典算法优点的同时也弥补了它们存在的不足之处.实验结果表明, 本文算法得到了更高的PNSR、SSIM与良好的视觉效果, 在提高了高噪声环境下图像去噪能力的同时, 也一定程度地提升了高噪声环境下的去噪效率.这也为后续的目标检测、识别和跟踪等应用提供了很好的图像样本数据, 具有很好的实用性.

作者简介

鲍中运

南昌航空大学信息工程学院硕士研究生.主要研究方向为图像处理, 模式识别, 计算机视觉, 深度学习. E-mail: baozhongyun1234@163.com

盖杉

南昌航空大学信息工程学院副教授.主要研究方向为图像处理, 模式识别, 计算机视觉, 人工智能.本文通信作者. E-mail: gaishan@nchu.edu.cn