陈健, 李诗云, 林丽, 王猛, 李佐勇. 模糊失真图像无参考质量评价综述. 自动化学报, 2022, 48(3): 689−711. doi: 10.16383/j.aas.c201030

Chen Jian, Li Shi-Yun, Lin Li, Wang Meng, Li Zuo-Yong. A review on no-reference quality assessment for blurred image. Acta Automatica Sinica, 2022, 48(3): 689−711. doi: 10.16383/j.aas.c201030

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c201030?viewType=HTML

图像质量评价, 无参考图像质量评价, 模糊图像, 数据集

图像的模糊问题影响人们对信息的感知、获取及图像的后续处理. 无参考模糊图像质量评价是该问题的主要研究方向之一. 本文分析了近20年来模糊图像无参考质量评价相关技术的发展. 首先, 本文结合主要数据集对图像模糊失真进行分类说明; 其次, 对主要的模糊图像无参考质量评价方法进行分类介绍与详细分析; 随后, 介绍了用来衡量模糊图像无参考质量评价方法性能优劣的主要评价指标; 接着, 选择典型数据集及评价指标, 并采用常见的模糊图像无参考质量评价方法进行性能比较; 最后, 对无参考模糊图像质量评价的相关技术及发展趋势进行总结与展望.

随着成像科学的不断发展, 成像技术在社交媒体、天文、医学、工业、公共安全等领域得到广泛的应用, 并取得大量研究进展与成果, 如更快的成像速度, 更高的成像分辨率等. 尽管如此, 由于成像系统内在或外在因素的影响, 不同失真类型的成像结果(降质图像)仍然不可避免, 模糊失真即其中最为重要的一种降质类型. 虽然在某些情况下, 如从艺术的角度, 局部模糊的图像可能带来更高的艺术价值, 但在绝大多数情况下, 图像的模糊问题会影响人们对信息的感知、获取及图像的后续处理, 尤其是一些基于高质量图像应用的场合, 如医学分析与诊断、遥感、生物识别、监控系统等. 因此, 针对模糊图像的各种分析与处理方法得到长期且广泛的关注及应用, 包括:

1)应用于自动成像系统的图像清晰度评价函数. 在基于对焦深度法的自动对焦系统中包含三个重要环节, 即对焦窗口选择、图像清晰度评价函数与搜索算法, 其中, 图像清晰度评价函数实现对不同模糊程度图像的质量评价, 从而为得到最终的正焦图像提供依据.

2)应用于成像结果自动筛选的图像质量评价方法. 正如前述, 由于成像系统内在与外在因素(如环境因素、人为因素)的影响, 最终采集得到的图像可能是包含了模糊问题的降质图像, 因此, 通过有效的质量评价方法对图像进行评估, 丢弃不符合质量要求的图像(模糊失真图像), 从而为图像的后续处理提供保障.

3)应用于模糊图像的图像增强算法. 图像去模糊(Image deblurring)方法作为常见的图像增强算法之一, 实现对模糊图像的去模糊处理, 将模糊失真图像恢复为清晰图像.

上述三类方法与应用中, 应用于自动对焦的图像清晰度评价(Image sharpness assessment)函数与应用于成像结果自动筛选的模糊图像质量评价方法(Image quality assessment, IQA)均是实现对模糊图像的质量评价. 同时, 模糊图像质量评价结果又为图像去模糊方法的应用提供了先决条件, 即模糊的检测与分级. 此外, 部分学者也将模糊检测及评价算法应用于图像分割方法中, 提升了模糊图像的分割性能.

模糊图像质量评价方法可以分为主观评价方法和客观评价方法, 主观评价由观察者对图像质量进行主观评分, 一般采用平均主观得分(Mean opinion score, MOS)或平均主观得分差异(Differential mean opinion score, DMOS)来表示, 但主观评价工作量大、耗时长, 使用起来很不方便, 众多IQA图像数据集的主观评价结果主要为客观评价方法的优劣提供参考. 客观评价方法是由计算机根据一定的方法计算得到图像的质量评价结果. 根据评价时是否需要参考图像, 客观评价方法又可以分为全参考图像质量评价(Full-reference image quality assessment, FR-IQA)、半参考图像质量评价(Reduced-reference image quality assessment, RR-IQA)和无参考图像质量评价(No-reference image quality assessment, NR-IQA)三类. 虽然随着算法的不断提出与改进, FR-IQA和RR-IQA这两类方法的评价性能得到较大提升, 但在实际应用中这两类方法的缺点也十分明显, 即通常情况下无法取得无失真图像作为参考图像. NR-IQA方法很好地解决了上述问题, NR-IQA也称为盲图像质量评价(Blind image quality assessment, BIQA), 该类方法主要根据模糊图像的自身特征来估计图像质量. 由于不需要参考图像, 针对模糊失真的NR-IQA方法又称为盲/无参考图像清晰度评价(Blind/no-reference image sharpness assessment)方法, 该方法分为两类, 一类是仅针对模糊失真的NR-IQA方法, 另外一类则是针对各种失真类型(包含模糊失真)的通用NR-IQA方法, 包括各种类型的噪声(如加性噪声、高斯噪声、掩模噪声、脉冲噪声等)、各种类型的模糊(如失焦模糊、运动模糊等)、JPEG(2000)压缩、JPEG(2000)传输错误、对比度问题(如对比度变化、整体对比度缩减等)、局部块失真、快速瑞利衰减等. 由于没有参考图像的帮助, 在早期的研究中, 此类方法往往较难取得较高的评价性能. 但二十几年来, 随着研究的不断深入, 针对模糊失真的NR-IQA性能已经逐渐接近甚至达到FR-IQA方法和RR-IQA方法的评价性能. 尤其是近几年来, 随着深度学习等基于学习的方法在NR-IQA中的广泛应用, 评价性能得到了进一步的提升. 与此同时, 伴随着方法的改进, 针对不同模糊失真(人工模糊及自然模糊)的数据集也不断涌现, 从而为不同算法的验证提供了保证.

本文将针对模糊图像的NR-IQA方法进行综述. 首先, 对模糊失真问题进行分类,介绍包含模糊失真图像的主要IQA数据集; 其次, 对NR-IQA方法进行分类及分析, 文中将其分为基于空域或(与)频域且无需学习的方法(以下简称基于空域/频域的方法)及基于学习的方法两大类; 接着, 在对应用于NR-IQA方法优劣对比的评价指标进行简要说明的基础上, 使用经常应用于不同文献中进行实验对比的方法进行性能比较, 尤其是基于学习的方法; 最后, 对针对模糊失真问题的NR-IQA相关技术进行总结和展望.

图 1  不同类型模糊图像示例

图 2  基于空域/频域的NR-IQA方法分类