引用本文

周汶, 李旦, 张建秋. 评价彩色图像自动聚焦清晰度的互补色小波测度. 自动化学报, 2020, 46(8): 1615−1627 doi: 10.16383/j.aas.c190513

Zhou Wen, Li Dan, Zhang Jian-Qiu. A complementary color wavelet-based measure on color image sharpness assessment for autofocus. Acta Automatica Sinica, 2020, 46(8): 1615−1627 doi: 10.16383/j.aas.c190513

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190513

关键词

清晰度评价，互补色小波，彩色图像，最大能量，扩散度 

摘要

针对彩色图像的自动聚焦, 本文提出了一种新的清晰度评价测度. 该测度借助于互补色小波变换, 在互补色小波域, 利用融合互补色算子的层级最大能量和层级统计分布扩散度的乘积来描述本文的清晰度. 分析表明: 融合互补色算子, 可提取待评价彩色图像在颜色、亮度、方向、尺度和各通道分量间的相互信息等方面的相关特征. 这样, 其层级的最大能量就反映了这些被提取相关特征中最显著特征的清晰程度, 而其统计分布的扩散度, 就衡量了其清晰度特征分布的离散程度. 那么利用它们来共同表征清晰度的测度, 就使得本文所提的测度能随图像清晰程度的增加而增加. 在LIVE/IVC数据库上与多种经典方法的对比结果表明: 本文提出的测度具有最高的聚焦精度0.0373/0.0246、分辨率1.6132/0.4771和最好的无偏稳定性.

文章导读

自动聚焦技术已经广泛应用于摄像、视频监控、医学显微镜、机器人视觉等图像获取场合[1]. 近几十年来, 国内外文献大量报道了主动式和/或被动式自动聚焦技术的研究, 主动式自动聚焦一般是通过测距(诸如激光和红外等), 并结合相关数学模型的计算来实现聚焦, 而被动式则主要利用图像处理技术, 即通过分析图像自有信息来进行焦点的搜索调节[1-2]. 目前, 受聚焦硬件或成本限制, 绝大多数摄影摄像装置利用图像分析技术来实现自动聚焦, 而其核心则是数字图像的清晰度评价测度/方法[1].

一般说来, 越清晰的图像其细节越丰富[2-4], 具体体现为存在越多的高频分量[5], 越大的像素梯度[6-7]、差分[8-10]或方差等. 文献[4]和[9]的研究表明: 当这些描述参数化后的值, 即清晰度评价测度/方法达到最大/小时, 图像就最清晰, 即聚焦系统就处于最佳的聚焦位置. 清晰度评价测度性能的好坏就决定了聚焦效果的优劣, 因为其性能表征了评价的灵敏度(精度、分辨率)和稳定性.

目前, 文献报道的图像聚焦清晰度评价方法主要分为三类: 1)统计类方法, 其主要是利用统计熵来衡量图像内像素值分布的丰富度或能量分布的均匀度. 文献[4]报道了四种采用像素值的不同加权统计熵的清晰度评价方法; 文献[2]报道了统计能量熵的方法; 而文献[3]则报道了利用关键信息统计熵的清晰度评价方法. 然而, 当聚焦图像含有较少的统计柱(Bins) (如周期图像)时, 这类评价将失效[4]. 2)空域类方法, 其清晰度评价方法主要利用像素值之间的梯度、差分、方差和奇异值等特征来表征, 尽管它们可弥补统计熵方法在评价周期图像时的失效缺陷, 但其性能仍差强人意[10]. 这些方法主要有: 文献[6]和[7]报道的Tenengrad梯度能量, 结合最大梯度能量和梯度方差的评价方法; 文献[8]报道的采用灰度差分绝对值之和(Sum modulus difference, SMD)的方法; 文献[9]报道的间距可变拉普拉斯算子(Sum modified Laplacian, SML)的清晰度评价方法; 文献[10]在文献[8]基础上, 提出的水平和垂直方向灰度差分乘积的方法; 文献[11]则给出了利用显著区域奇异值(Singular value decomposition based on saliency detection, Sd-Svd)差异的清晰度评价方法等. 3)变换域类方法, 这类清晰度评价方法利用变换域的高频分量来衡量清晰度. 如文献[12]报道的基于DCT变换的清晰度评价方法, 由于其存在近焦点失效问题[1], 因此, 文献[1]在此基础上报道了加窗局部细节分析的方法; 借助小波变换对细微细节的定位分析, 文献[13]和[14]报道了利用小波变换高频能量的清晰度评价方法; 在文献[13]的基础上, 借助聚焦过程中高低频能量变化相反的趋势, 文献[15]报道了采用高低频能量比的清晰度评价方法, 而文献[16]给出了利用梯度方向加权的小波包评价方法; 文献[17]报道的基于DCT域的自适应加权尺度和方向特征的评价方法.

在人类视觉系统的感知中, 颜色具有非常重要的作用, 这是因为图像的任何变化, 包括边缘、连接和角点, 都可归结为颜色的变化[18]. 由于图像的最终接收者是人类视觉系统, 因此, 图像处理问题的解决办法应遵循人眼视觉特性. 传统的彩色图像处理技术或是将彩色图像灰度化, 或是针对三通道进行相同处理后合成, 这也就意味着忽略色度信息的清晰度评价方法有可能会丢失重要的细节信息, 而各通道分量分别进行相同处理后再合成的方法, 则可能丢失通道分量之间的相关信息而使得细节分析不精确, 以致难以进一步提高聚焦性能.

针对现有自动聚焦技术的缺陷, 本文借助于互补色小波变换(Complementary color wavelet transform, CCWT)[19], 在互补色小波域内, 利用融合互补色算子的层级最大能量和层级统计分布扩散度的乘积给出了一种新的清晰度评价测度. 分析表明: 融合互补色算子, 可提取待评价彩色图像在颜色、亮度、方向、尺度和各颜色通道分量间相互信息等的相关特征. 这样, 融合互补色算子的层级最大能量就反映了这些被提取的特征中最显著特征的清晰程度. 而融合互补色算子的层级分布扩散度, 就衡量了与图像清晰度相关特征分布的离散程度. 因此本文利用它们来描述清晰度的测度就可使其随图像清晰程度的增加而增加. 此外, 即使在传统小波域利用本文的方法来表征清晰度, 其给出的性能也可与文献报道方法的评价性能相比拟. 而在互补色小波域, 由于互补色具有更好的细节提取能力[19], 因此其性能可进一步得到提升. 在LIVE及IVC图像数据库中进行的仿真实验, 验证了所提测度的优越性和有效性.

本文余下内容组织如下: 第1节将简述互补色小波及其互补色算子. 第2节将在互补色小波变换的基础上, 给出本文所提出的彩色图像清晰度评价测度. 第3节将对本文测度和多种经典清晰度评价方法在LIVE/IVC数据库上进行精度、分辨率以及稳定性的性能分析和比较. 最后, 第4节将总结全文.

图 1  HSI颜色空间与RGB色环

图 2  亮度值恒定的彩色图像

图 3  彩色图像在第2层级的(互补色)小波处理结果

借助于互补色小波, 本文给出了一种新的彩色图像清晰度评价测度及其构建方法. 为了充分而准确地表征和反映待评价彩色图像在颜色、亮度、方向、层级以及各通道分量间的相互信息等相关的特征, 并利用它们来描述聚焦性能, 本文定义了一个层级最大能量来表征最显著点的清晰度, 而图像清晰度相关特征分布的离散程度, 则用层级分布的扩散度来衡量. 因此, 利用它们来描述清晰度的测度就可使其随图像清晰程度的增加而增加. 此外, 即使在传统小波域利用本文的方法来表征清晰度, 其给出的性能就可与文献报道方法的评价性能相比拟. 而在互补色小波域, 由于互补色具有更好的细节提取能力, 因此其性能能进一步得到提升. 在LIVE及IVC图像数据库进行的仿真实验, 验证了提出测度的有效性和优越性.

作者简介

周汶

复旦大学电子工程系硕士研究生. 主要研究方向为计算机视觉, 图像处理.E-mail: wenzhou17@fudan.edu.cn

李旦

复旦大学电子工程系副教授. 主要研究方向为数字信号处理及应用. 本文通信作者.E-mail: lidan@fudan.edu.cn

张建秋

复旦大学电子工程系教授. 主要研究方向为信号处理及其在通信、控制、测量、图像和雷达中的应用. E-mail: jqzhang@ieee.org