引用本文

陈勇, 吴明明, 房昊, 刘焕淋. 基于差异激励的无参考图像质量评价. 自动化学报, 2020, 46(8): 1727−1737 doi: 10.16383/j.aas.c180088

Chen Yong, Wu Ming-Ming, Fang Hao, Liu Huan-Lin. No-reference image quality assessment based on differential excitation. Acta Automatica Sinica, 2020, 46(8): 1727−1737 doi: 10.16383/j.aas.c180088

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180088

关键词

图像质量评价，韦伯定律，差异激励，梯度映射 

摘要

为了衡量图像的降质程度, 充分考虑像素间的相关性, 提出了一种基于差异激励的无参考图像质量评价算法.该算法根据韦伯定律求得差异激励图, 并依据各向异性得到差异激励的梯度映射图; 然后量化差异激励得到差异量化图, 并分别与差异激励图与梯度映射图进行加权融合; 最后利用求得的特征, 通过支持向量回归(Support vector regression, SVR)预测得出图像质量的客观评价值.在LIVE、MLIVE、MDID2013和MDID2016等多个数据库中测试显示, 该算法稳定性强, 复杂度低, 能准确反映人类对图像质量的视觉感知效果.

文章导读

图像在处理、传输和存储过程中会产生不同类型、不同程度的降质, 导致最终的成像出现一定的失真, 严重妨碍了图像的理解和分析[1].因此设计一种量化失真程度和等级的无参考图像质量评价方法, 是图像评价领域极其重要且亟待解决的问题[2].

现阶段无参考图像质量评价方法大致可分为特定失真和非特定失真两类[3].无参考图像质量评价的研究起始于特定失真图像的质量评价, 如最常见的图像模糊和噪声.但由于特定失真图像需要提前知道图像的失真类型, 在应用中受到限制, 因而非特定失真的研究更受关注.这类方法通常是从图像不同的视觉感知区域(如边界、纹理等)中提取不随图像内容变化的统计信息[4]. Moorthy等[5]首次利用小波变换和广义高斯分布(Generalized Gaussian distribution, GGD)来提取图像的统计特征, 并通过支持向量机(Support vector machine, SVM)建立特征和图像质量之间的映射模型. Mittal等[6]将空域变换应用到自然场景统计中, 提出了盲参考图像质量评价(Blind reference image spatial quality evaluator, BRISQUE)方法; 随后又引入非对称广义高斯分布(Asymmetrical generalized Gaussian distribution, AGGD), 提出了自然图像质量评价(Natural image quality evaluator, NIQE)方法[7].之后相关的评价方法都在此基础上展开, 如文献[8]在NIQE的基础上引入结构统计, 提出了一种通用型盲参考图像质量评价(Integrated local-NIQE, IL-NIQE)方法.该方法采用韦伯定律提取图像的结构信息, 使图像评价的性能进一步提升, 同时也证明了结构信息在图像评价中的重要性.由于图像的结构信息能有效地反映图像质量特征, 随之出现了各种提取边缘结构的方法, 如小波、梯度和轮廓波等.其中, 局部二值模式(Local binary pattern, LBP)利用邻近像素间的差异性就能简单而高效地提取图像的结构信息, 使得时下众多的评价方法都在此基础上展开(如文献[9-10]).随着对图像质量评价的深入研究, 人们开始把提取图像的结构信息的相关方法引入到对多失真混合的图像质量评价中, 例如文献[11-12]对模糊和噪声混合失真图像的质量评价; 文献[13]在自由能的基础上结合像素结构信息等提出多种RR (Reduced reference)和FR (Full reference)方法实现混合失真图像评价; 文献[14]在梯度图像的基础上利用LBP变换, 提出了一种梯度加权局部二值模式(Gradient-weighted histogram of local binary pattern calculated on the gradient map, GWH-GLBP)的混合图像质量评价方法.

综上所述, LBP变换因其高效而准确的提取特性而被广泛应用于图像评价中.同时, 由于视觉神经元对主导方向上的高阶图像结构非常敏感, 而韦伯定律的差异激励能更准确地提取结构信息[15].对此, 本文根据韦伯定律的相对亮度求得差异激励图, 并依据各向异性得到差异激励图的梯度映射图; 然后利用量化差异激励图得到差异量化图, 并分别与差异激励图和梯度映射图进行加权融合, 在差异激励的基础上结合定向梯度滤波器, 提取能分别表征图像结构信息(如边缘)的一阶结构特征和图像细节信息(如纹理)的二阶结构特征; 利用求得的特征构建图像质量评价模型.研究表明, 该方法揭示了不同单一失真与混合失真之间的特性, 同时又能对单一及混合失真图像进行有效的质量评价, 是一种切实可行的评价方法.

图 1  不同程度失真图像对应的差异激励图和梯形映射图

图 2  定向的梯度滤波器

图 3  差异量化图与局部量化值

本文提出了一种基于差异激励的无参考混合图像质量评价算法, 在韦伯定律的基础上求得差异激励图, 并依据各向异性得到差异激励的梯度映射图, 然后量化差异激励得到差异量化图, 并分别与差异激励图与梯度映射图进行加权融合求得特征.最后将求得的特征通过支持向量机构建评价预测模型.在LIVE、MLIVE、MDID2013和MDID2016等多个数据库中测试表明, 提出的算法能够对单一失真和混合失真图像都能获得了较好的评价指标, 取得了与主观评价较好的一致性, 符合HVS (Human visual system)特性, 相对当前无参考图像质量评价的算法具有较好的评价效果, 算法性能稳定, 复杂度较低, 在图像质量评价中具有重要参考的意义.为下一步研究彩色图像质量评价模型, 提高彩色图像质量评价能力提供依据.

作者简介

陈勇

重庆邮电大学自动化学院教授. 2003年获得重庆大学机械工程专业博士.主要研究方向为图像处理与模式识别, 智能优化控制. E-mail: chenyong@cqupt.edu.cn

吴明明

重庆邮电大学自动化学院硕士研究生.主要研究方向为图像处理, 机器学习与计算机视觉. E-mail:darcy.wu@unisoc.com

房昊

重庆邮电大学自动化学院硕士研究生.主要研究方向为图像处理, 机器学习与计算机视觉. E-mail: f1010507348@163.com

刘焕淋

重庆邮电大学通信与信息工程学院教授. 2008年获得重庆大学光电工程专业博士.主要研究方向为信息获取与处理, 机器学习与计算机视觉.本文通信作者. E-mail: liuhl@cqupt.edu.cn