引用本文

邢笑笑, 王海龙, 李健, 张选德. 渐近非局部平均图像去噪算法. 自动化学报, 2020, 46(9): 1952−1960 doi: 10.16383/j.aas.c190294

Xing Xiao-Xiao, Wang Hai-Long, Li Jian, Zhang Xuan-De. Asymptotic non-local means image denoising algorithm. Acta Automatica Sinica, 2020, 46(9): 1952−1960 doi: 10.16383/j.aas.c190294

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190294

关键词

图像去噪，非局部平均，快速算法，渐近非局部平均 

摘要

非局部平均去噪算法(Non-local means denoising algorithm, NLM)是图像处理领域具有里程碑意义的算法, NLM的提出开启了影响深远的非局部方法. 本文从以下两个方面来重新探讨非局部平均算法: 1) 针对NLM算法运算复杂度高的问题, 基于互相关(Cross-correlation, CC)和快速傅里叶变换(Fast Fourier transformation, FFT)构造了一种快速算法; 2) NLM在滤除噪声的同时会模糊图像结构信息, 在强噪声条件下更是如此. 针对这一问题, 提出了一种渐近非局部平均图像去噪算法, 该算法利用方差的性质来控制滤波参数. 数值实验表明, 快速算法较之经典算法, 在标准参数配置下运行速度可提高27倍左右; 渐近非局部平均图像去噪算法较之经典非局部平均图像去噪算法, 去噪效果显著改善.

文章导读

图像经常在采集和传输过程中被噪声污染, 噪声的存在会降低图像质量, 影响人们对图像的观察. 在与图像相关的各种应用中, 有效地抑制噪声有助于产生可靠的结果. 因此, 对图像进行预先的去噪处理非常重要.

图像去噪一直是图像处理领域的一个重要研究课题, 研究学者们根据噪声特性, 提出了许多关于空域或频域的滤波方法. 其中, 空域滤波是基于邻域处理的增强方法, 直接在图像所在的二维空间进行处理, 即处理每一个像素点的灰度值. 其主要方法有均值滤波、中值滤波、高斯滤波和维纳滤波等[1-4]. 而频域滤波是将图像变换到频域后, 在频域中处理其变换系数, 然后再进行逆变换得到滤波后的图像. 常用的变换包括小波变换[5-6]、傅里叶变换[7]、基于过完备字典的稀疏表示[8-9]、基于多尺度几何分析的变换等[10-12]. 以上这些方法大多是基于局部处理的思想, 即通过对像素点邻域内所有像素或部分像素进行加权平均从而实现图像去噪. 1998年Tomasi等[13]提出了利用两个像素空间上的邻近关系和灰度上的相似性来确定权值的方法, 此为非局部思想的雏形. 2005年Buades等[14]基于图像中包含大量自相似结构的特点, 提出了非局部平均去噪算法(Non-local means denoising algorithm, NLM), 该算法利用加权平均的思想来估计待处理像素点的值, 权重的大小利用两个图像块的相似性来计算, 图像块之间的相似性由高斯加权欧氏距离度量. NLM充分利用了自然图像中存在的大量冗余信息, 能更好地保持图像的细节和纹理.

为了获得更好的去噪性能, 许多学者对非局部平均去噪算法进行了深入的研究. 2007年Dabov等[15]提出了BM3D (Block-matching and 3D filtering)的方法, 该方法利用图像块之间的相似性, 对具有相似结构的图像块进行三维变换域滤波. 2018年Verma等[16]通过给每个像素重新选取合适的平滑参数, 提出了一种基于灰色关联分析的非局部滤波方法. 2009年Tasdizen等[17]提出了基于主成分分析(Principle component analysis, PCA)的方法, 该方法利用PCA将图像邻域向量投影到低维子空间, 然后利用子空间中的距离计算相似性权值. 2011年Grewenig等[18]提出通过旋转来查找更相似的图像块的方法, 将图像中相似的图像块尽可能地提取出来. 2013年Wu等[19]提出了根据图像块差异的概率确定权值的方法, 该方法在高斯噪声的假定下推导了图像块之间差异的概率分布, 并根据此概率分布来确定非局部平均算法中的权值. 2016年蔡斌等[20]提出了基于候选集选取的方法, 先搜索灰度分布相似的图像块组成候选集, 然后在候选集中选取结构更为相似的图像块. 2019年Bo等[21]提出了利用模糊理论来重新度量图像像素之间相似性的方法. 2017年Nguyen等[22]对James-Stein型中心像素权重估计方法进行了改进. 2014年Jacques[23]提出了利用积分图像(Integral images)技术对NLM算法进行加速的方法, 该方法对原始图像进行整体平移, 而后通过对平移前后的两幅图像逐点计算差的平方来建立积分图像, 而利用积分图像计算两个图像块之间的欧氏距离可以避免一定重复计算. 2016年黄智等[24] 利用图像块的奇异值分解重新定义邻域间的相似度, 提出了混合相似性权重的方法. 2013年张选德等[25]利用奇异值分解建立符合“两方向”和“求同存异”原则的非局部图像去噪模型.

本文从以下两个方面来重新探讨非局部平均算法: 1) 针对算法时间复杂度高的问题, 提出一种快速非局部平均去噪算法(Fast non-local means denoising algorithm, FNLM), 该算法借助互相关(Cross-correlation, CC)和快速傅里叶变换(Fast Fourier tramsformation, FFT)来计算两个图像块之间加权欧氏距离. 2) NLM算法在滤除噪声的同时会模糊图像的结构信息, 针对这一问题, 本文提出一种渐近非局部平均方法(Asymptotic non-local means, ANLM), 该方法利用方差的性质来控制滤波参数, 通过对图像的渐近滤波来缓解结构信息的模糊. 数值实验表明, 快速算法较之经典方法, 在标准参数配置下运行速度可提高27倍左右; 渐近非局部平均图像去噪算法较之经典非局部平均图像去噪算法, 能更好地保持图像的结构信息, 从而获得更好的去噪效果.

本文结构安排如下: 第1节给出退化模型和非局部平均图像去噪算法的基本原理; 第2节介绍快速非局部平均图像去噪算法; 第3节介绍ANLM去噪算法; 第4节通过仿真实验来验证FNLM和ANLM算法的有效性; 第5节对本文的工作进行总结.

图 1  像素点i处的取块示意图

图 2  滤波参数的大小对权值的影响

图 3  NLM滤波与原图的效果比较

本文对经典的NLM算法进行研究, 贡献主要包括以下两个方面: 1) 对NLM中最耗运算量的相似性度量的计算进行了分解和分析. 首先将相似性度量的计算转换为相关滤波, 然后利用FFT来实现相关滤波, 由此构造了快速算法; 2) 针对NLM在噪声方差较大时, 会引起图像结构和纹理模糊的问题, 提出了一种渐近非局部滤波方法. 这种方法对图像进行两次非局部滤波, 第1次滤波参数取h1(i)=0.5σ, i∈Ω, 第2次滤波参数利用方差的性质进行逐点运算. 数值实验表明, 快速算法较之NLM在运算速度上有大幅度提高; 渐近滤波算法较之NLM算法, 去噪效果有显著改善.

近年来, 深度学习方法的兴起迅速地改变了整个计算机视觉领域的研究动向. 当然深度学习的方法依赖于大样本进行训练, 对运算能力有非常高的要求. 目前, 如何将传统方法与深度学习有效结合, 改善深度学习方法的“黑箱化”现状, 或者利用传统方法来简化深度网络, 这些问题得到了研究同行们的重视. 非局部方法利用图像固有的自相似结构, 在图像处理领域具有里程牌意义. 对这一方法的深入研究, 有助于将非局部方法和深度学习方法有效结合, 而这也正是下一步的主要工作.

作者简介

邢笑笑

陕西科技大学电子信息与人工智能学院硕士研究生. 2017年获得吉林农业大学工学学士学位. 主要研究方向为图像处理, 图像去噪. E-mail: xingxiao_0918@163.com

王海龙

宁夏师范学院数学与计算机科学学院讲师. 2011年获得香港公开大学教育硕士学位. 主要研究方向为代数. E-mail: wanghailong7903@163.com

李健

陕西科技大学电子信息与人工智能学院教授. 2002年获得浙江大学工学博士学位. 主要研究方向为图形图像处理, 大数据挖掘与机器学习, 网络与信息安全. E-mail: lijianjsj@sust.edu.cn

张选德

陕西科技大学电子信息与人工智能学院教授. 2013年获得西安电子科技大学理学博士学位. 主要研究方向为图像恢复, 图像质量评价, 稀疏表示和低秩逼近理论. 本文通信作者. E-mail: zhangxuande@sust.edu.cn