引用本文

彭天奇, 禹晶, 肖创柏. 基于跨尺度低秩约束的图像盲解卷积算法. 自动化学报, 2022, 48(10): 2508−2525 doi: 10.16383/j.aas.c190845

Peng Tian-Qi, Yu Jing, Xiao Chuang-Bai. Blind image deconvolution via cross-scale low rank prior. Acta Automatica Sinica, 2022, 48(10): 2508−2525 doi: 10.16383/j.aas.c190845

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190845

关键词

自相似性，跨尺度，低秩，盲解卷积，去模糊

摘要

在模糊核未知的情况下对模糊图像进行复原称为盲解卷积问题, 这是一个欠定逆问题, 现有的大部分盲解卷积算法利用图像的各种先验知识约束问题的解空间. 由于清晰图像的跨尺度自相似性强于模糊图像的跨尺度自相似性, 且降采样模糊图像与清晰图像具有更强的相似性, 本文提出了一种基于跨尺度低秩约束的单幅图像盲解卷积算法, 利用图像跨尺度自相似性, 在降采样图像中搜索相似图像块构成相似图像块组, 从整体上对相似图像块组进行低秩约束, 作为正则项加入到图像盲解卷积的目标函数中, 迫使重建图像的边缘接近清晰图像的边缘. 本文算法没有对噪声进行特殊处理, 由于低秩约束更好地表示了数据的全局结构特性, 因此避免了盲解卷积过程受噪声的干扰. 在模糊图像和模糊有噪图像上的实验验证了本文的算法能够解决大尺寸模糊核的盲复原并对噪声具有良好的鲁棒性.

文章导读

图像复原旨在对图像降质过程进行建模, 求解降质模型的逆过程, 从降质图像中恢复出原始的清晰图像. 模糊是一种常见的图像降质现象, 通常由于相机的抖动、散焦以及物体的运动造成. 单幅图像去模糊问题研究如何从一幅模糊图像中恢复出原始的清晰图像. 根据模糊核是否已知, 去模糊方法可分为两类: 1)若模糊核已知, 则称为非盲复原方法; 2)若模糊核未知, 则称为盲复原方法.

对于均匀模糊图像的形成过程可以表示为如下卷积模型：y=h*x+n

其中, y表示模糊图像, x表示清晰图像, ∗表示卷积运算, h为模糊核, n为噪声. 在卷积模型下, 图像盲复原即研究如何从模糊图像中同时估计出模糊核h和清晰图像x. 由于将模糊过程建模为卷积的形式, 因此盲复原问题也称为盲解卷积问题.

图像盲解卷积是一个严重的欠定逆问题, 待求解的未知变量数目大于已知方程的数目, 解不唯一. 现有的大部分方法通过引入模糊核和图像的先验知识来约束问题的解空间.

一类为基于显著边缘的方法, 此类方法充分利用图像中的显著边缘结构对模糊核进行估计. Jia等[1]首先利用图像边缘进行运动模糊核的估计, 其边缘的选取是通过手工抠图完成的, 这一方法非常依赖抠图的准确性. Joshi等[2]直接从模糊图像中提取出显著边缘, 并根据提取的边缘估计模糊核, 然而, 由于很难直接从大模糊图像中提取显著性边缘, 此方法仅对于小模糊图像较为有效. Cho等[3]利用冲击滤波器(Shock filter)对图像进行边缘的选择并用于模糊核估计; Xu等[4]在该方法的基础上验证了不同宽度的边缘对于模糊核估计的影响. 这种方法由于增强模糊图像的边缘, 在迭代求解的过程中, 为了避免出现边缘过增强等现象, 一般需要根据迭代次数不断调节边缘增强算法的参数, 因而对参数设置较为敏感.

另一类为基于最大后验概率(Maximum a posteriori estimation, MAP)估计或其变分模型的方法[5-18]. 基于MAP估计的方法在条件概率服从某一种噪声模型, 结合清晰图像和模糊核的先验概率模型的假设条件下, 通过最大化后验概率来估计清晰图像和模糊核, 而变分模型则是在噪声概率模型服从高斯分布的条件下, 通过负对数函数将最大化后验概率问题转换为最小二乘问题. 早期, Chan 等[5]利用全变分的方法来约束清晰图像的梯度. Levin等[6]提出了一种超拉普拉斯先验建模图像的梯度来估计模糊核. Fergus等[7]假设清晰图像的梯度服从拖尾分布(Heavy-tailed distribution), 结合高斯分布模型利用变分贝叶斯方法和期望最大化求解最大后验概率问题. Levin等[8]证明直接求解最大后验概率问题偏向获得平凡解, 即模糊图像本身和二维狄拉克函数, 这是因为图像梯度先验在很多情况下偏向于模糊图像, 而不是清晰图像. Perrone等[9]利用全变分正则化进行模糊核的估计, 并且证明了投影交替最小化(Projected alternating minimization, PAM)方法可以有效避免平凡解. 图像梯度表示邻域内像素之间的关系, 由于自然图像包含复杂的结构, 仅利用相邻像素之间的关系很难清楚地描述这种复杂的结构, 基于图像块的先验可以表示更大更复杂的图像结构. Michaeli等[10]利用不同尺度图像之间图像块的相似性作为先验来估计模糊核. Zhang等[11] 将图像块的稀疏表示作为先验进行模糊估计, 并利用K-SVD (K-singular value decomposition)算法[19]通过其他自然图像或模糊图像本身训练字典. Ren等[12]构造了图像亮度和梯度的低秩约束先验用于模糊核的估计. Pan等[13]在模糊核的估计中引入了暗通道先验, 即图像块中不同通道的最小像素值, 但是这种方法不适用于缺乏暗像素以及有噪的图像, 这是因为在这种情况下, 无法保证暗通道的稀疏性. 在Pan等[13] 方法的基础上, Yan等[14]结合亮通道先验与暗通道先验作为约束项以提高算法的鲁棒性. 常振春等[15] 将图像块的稀疏表示和非局部(Non-local)自相似模型作为先验进行模糊核的估计. Chen等[16]利用ℓ1ℓ1范数约束局部最大梯度值作为正则化项来估计模糊核.

本文将上述方法统称为基于模型的方法. 近些年, 基于深度学习的方法[20-23]逐渐广泛应用于图像去模糊领域. 最初, 此类方法主要是采用深度卷积神经网络(Convolution neural network, CNN)模型实现对清晰图像的估计或者对模糊核的估计. Su等[20]首先提出了一种基于深度卷积神经网络的视频去模糊算法, 该方法通过卷积神经网络模型端到端地学习多帧模糊图像与清晰图像之间的关系并用于清晰图像的复原. Yan等[21]利用深度卷积神经网络进行模糊核分类并利用广义回归神经网络(General regression neural network, GRNN)进行模糊核参数的估计. Sun等[22]设计了一种基于马尔科夫随机场(Markov random field, MRF)的卷积神经网络用于非均匀模糊核的估计. 从卷积神经网络到近期提出的生成式对抗网络(Generative adversarial network, GAN)[24], 基于深度学习的方法取得了更好的去模糊效果. Kupyn等[23]利用条件生成式对抗网络(Conditional generative adversarial network, cGAN)进行去模糊, 使网络直接输出清晰图像. 然而, 基于深度学习的方法主要有3个方面的问题: 1) 网络很难训练, 需要大量的训练数据, 而且对参数的设置非常敏感; 2)网络无法保证输出的结果符合数据保真项, 虽然在训练过程中可以产生较好的效果, 但是在不同于训练数据特征的图像上可能会失效; 3) 对于估计不同类型的模糊核, 需要用不同的模糊图像训练网络, 且很难获取真实模糊训练数据集. 综上所述, 基于深度学习的方法受到了一定程度的限制.

目前大部分的盲解卷积算法对噪声较为敏感, 尤其对于大模糊有噪图像, 无法准确估计模糊核. 本文的算法旨在构造基于图像块的先验模型, 解决大模糊有噪图像的模糊核估计问题. 本文提出了一种基于跨尺度低秩约束的单幅图像盲解卷积算法, 利用跨尺度自相似性, 在降采样图像中搜索相似的图像块, 构成相似块图像组矩阵, 通过对相似图像块组矩阵进行低秩约束, 迫使当前图像在迭代中更加清晰, 使重建图像接近清晰图像. 一方面, 模糊降低了图像的跨尺度自相似性, 清晰图像的跨尺度自相似性强于模糊图像的跨尺度自相似性, 因此图像跨尺度低秩先验使解偏向清晰图像而不是模糊图像; 另一方面, 降采样减弱了图像的模糊程度, 与模糊图像相比, 其降采样图像与清晰图像具有更强的相似性, 迫使模糊图像更加接近清晰图像. 文献[10]在上述两点结论的基础上, 通过约束相似图像块与清晰图像块之间的相似性来估计模糊核, 该算法与本文的算法均利用跨尺度自相似性提供的附加信息进行模糊核估计, 不同之处在于该算法将图像中的各个图像块与其每一个相似图像块进行单独比较, 相似图像块之间是相互独立的, 通过最小化清晰图像块与相似图像块之间的均方误差来约束清晰图像块. 为了更好地利用相似图像块之间的相关性, 本文的算法将降采样图像中的相似图像块构造为一个相似图像块组, 并对该组进行整体的低秩约束, 一是非局部相似图像块引入了附加的空间结构信息, 更有利于图像块空间结构的重建, 二是噪声数据在相似图像块组数据中更加稀疏, 更有利于从稀疏噪声中恢复潜在的图像数据, 因此, 本文的算法能够解决大尺寸模糊核的盲解卷积问题, 并且避免盲解卷积过程受噪声的干扰.

本文后续结构组织如下: 第1节描述本文提出的图像跨尺度低秩先验模型; 第2节阐述本文提出的基于跨尺度低秩先验的图像盲解卷积模型以及求解过程; 第3节通过定量和定性实验验证本文算法的有效性; 第4节分析跨尺度低秩先验的有效性与局限性; 第5节为全文的总结.

图 1  清晰图像的多尺度自相似性

图 4  跨尺度自相似性用于图像盲复原的解释

图 5  本文算法流程

由于跨尺度自相似性普遍存在于自然图像中, 本文提出了一种跨尺度低秩先验模型, 在当前估计的降采样图像中搜索相似图像块构成相似图像块组, 对相似图像块组构造低秩约束正则项, 加入到目标函数中, 使目标函数的解偏向于清晰图像. 在金字塔的逐层迭代中, 通过对跨尺度相似图像块组进行低秩约束, 迫使当前估计的清晰图像边缘越来越清晰, 细节越来越丰富. 在大量模糊图像以及模糊有噪图像上的实验验证了本文算法的有效性. 本文的算法没有对噪声进行特殊处理, 由于低秩约束很好地表示了数据的全局结构特性, 因此对噪声具有良好的鲁棒性, 能够从大模糊有噪图像中有效地估计出模糊核.

作者简介

彭天奇

北京工业大学信息学部计算机学院硕士研究生. 主要研究方向为图像处理, 模式识别.E-mail: ptq17812103095@163.com

禹晶

北京工业大学信息学部计算机学院副教授. 2011 年获清华大学电子工程系博士学位. 主要研究方向为图像处理与模式识别.E-mail: jing.yu@bjut.edu.cn

肖创柏

北京工业大学信息学部计算机学院教授. 主要研究方向为数字信号处理, 音视频信号处理与网络通信. 本文通信作者.E-mail: cbxiao@bjut.edu.cn