引用本文

陈扬, 李旦, 张建秋. 互补色小波颜色恒常性/白平衡方法. 自动化学报, 2020, 46(7): 1378-1389. doi: 10.16383/j.aas.c180037

CHEN Yang, LI Dan, ZHANG Jian-Qiu. Color Constancy With Complementary Color Wavelets. ACTA AUTOMATICA SINICA, 2020, 46(7): 1378-1389. doi: 10.16383/j.aas.c180037

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180037

关键词

色恒常性，白平衡，互补色小波，彩色图像 

摘要

借助于互补色小波, 本文提出一种新的颜色恒常性统计方法.分析表明:标准光照图像的互补色小波子带关系, 可以利用联合拉普拉斯分布来进行描述.统计学习标准光照图像, 可获得拉普拉斯分布的参数, 为图像建立起标准光照的基准模型.该基准模型可为光照偏移(颜色恒常偏移)的图像提供光照补偿依据, 使偏光图像通过光照补偿恢复为标准光照图像, 从而得到光照参数.基于该基准模型对补偿光照参数进行最大似然估计的实验结果表明:本文所提方法的处理效果与列出的最好文献算法相当, 其在常用数据库上估计到的光照参数误差中值小0.1°, 而均值和最大值则小0.3°.

文章导读

众所周知, 人对客观世界的感知, 很大部分来自于人眼视觉系统, 而进入人眼光线的空域和频域分布, 就形成了人眼对成像的感知.照射物体光的频谱与物体对频谱的反射系数, 共同决定了进入人眼光线的频谱.在颜色的认知过程中, 人类通过长期进化, 能近乎完美地忽略/补偿照射光频谱对颜色感知所造成的影响, 从而可直接感知物体对频谱的反射系数, 而形成对物体"颜色''这一认知.这种能忽略入射光干扰而看清物体本质"颜色''属性的问题, 就是本文要讨论的颜色恒常性问题.

对于计算机图形学来说, 颜色本质的判断就没有那么简单了.相同物体在不同光源照射下拍到的图像像素色的不同, 计算机会把它当成不同的物体, 从而影响到计算机的进一步处理, 如物体智能化分类、识别、跟踪等.为了精确处理颜色偏差所带来的不便, 就必须对图像进行智能化的光线补偿.少量的图像可以通过人工指导, 在图像上选取一处或多处人眼认为的白色物体, 从而获得光照参数进而调整白平衡.手工选取调整的过程费时费力, 只适合少数精细化的场景如艺术创作等.面对现今爆炸增长的网络图像数据, 则需要自动化的实现.计算机颜色恒常性的无监督实现, 其最重要的是通过某种方法, 估计出照射光源光线的频谱属性, 并将其频谱通过变换映射到标准光照频谱中, 从而获得标准颜色空间(RGB空间、人眼三种视锥细胞空间等)中的向量表示.通过这样的映射, 便可将偏色光图像转换成标准光图像[1-2].不幸的是颜色恒常性问题是欠定的, 而解决欠定问题, 往往需要某些先验知识与模型.也可以说, 模型与先验知识的好坏与准确性, 就决定了能在多大程度上解决这类问题.就计算机颜色恒常性问题来说也就化为:什么样的模型与先验知识才能最大程度表征标准光照下图像的特点, 以及如何通过这些模型与先验知识来获取想要的光照参数?

在过去的几十年, 人们从不同的角度, 研究了颜色恒常性问题的各种解决方法.其中最直观和常用的方法, 就是直接通过提取图像像素级的颜色信息来进行, 这类方法都起源于Retinex理论[2].例如: White-patch方法[3]假设图像中反射最强的点对RGB各通道的反射是相同的, 那么找到光强最强点也就能找到光源的颜色; Gray-world方法[4]假设标准光照射RGB各个通道的平均反射是相同的, 那么计算偏色光图像各个通道的平均反射, 也就能得到光源的颜色; Shades-of-gray方法[5]将这两者视为Minkowski范数框架下的特例, 如: White-patch方法求得最大值对应于Minkowski框架的∞范数, Gray-world方法求的均值则对应于Minkowski框架的1范数.这样就扩展出赋予像素点不同权重的Minkowski范数选择方法, 灵活方便了不同场景的应用, 从而使该框架在不同场景与采集条件下均有良好表现[6-7]. Gray-edge方法[8]则进一步将该框架从像素域扩展到高阶导数域, 使其具备了通过边缘信息来取得更好效果的能力. Corrected-moment方法[9]提出采用高阶交叉项可以进一步提升效果.即使如此, 它们都有各自的缺点和适用的场景.例如White-patch方法依赖一个最亮的白点, Gray-world方法则依赖于颜色的丰富性, Gray-edge方法则要求图像无噪点.如果条件不满足, 则算法效果会大受影响.

为充分利用标准光照自然图像的特征, 并用于指导预测照射光的颜色, 人们也发展出了基于统计预测的一类方法.如色域映射(Gamut mapping)方法[10-11], 它假设在标准光照下, 任何一幅图像呈现出颜色的种类都是有限的, 那么其归一化的颜色值, 在色度空间上就会形成一个个封闭的凸包或称为色域.偏色光图像同样会有其封闭的色域, 选定某种颜色变化矩阵就可对应这两个色域, 这样通过颜色变换矩阵就可估算出图像的光照.同样, 色域映射方法也可引入高阶特征[12], 为充分利用图像的边缘信息特性来改进性能提供可能性.基于统计预测的另一大类, 是贝叶斯估计类的方法[13-14].该类方法通过对标准光源图像进行统计建模, 以得到符合标准图像的统计规律, 进而估计出何种光源变换, 能使偏光图像回归标准图像的统计规律来估计光源[13-15].但色域的映射, 需要引入大量限制条件来避免空解的产生, 以致其不适合需要快速得到结果的场景[12].

随着图像数据爆发性增长, 参考学习大量已知样本来预测未知样本光照参数的方法成为可能.单实例Exemplar-based方法[16]将未知图像包含的纹理和表面等分块特征信息与学习好的标准分块特征匹配, 从而得到多组光照参数, 将这些参数通过不同的方法聚合[16-17]可以提高光照参数估计的准确性.当前流行的图像处理类神经网络方法, 如卷积神经网络(Convolutional neural network, CNN)类方法[18-21]、递归神经网络(Recurrent neural network, RNN)类方法[22], 都可以通过大量样本的训练来预测光照参数.众所周知, 神经网络整个预测过程为黑盒, 需要大量训练样本、复杂的训练过程和人工干预网络拓扑结构、激活参数、初始权重等, 特别是无法解释产生误差的原因与原理, 以及获得好结果的原因, 以致无法用其结果来改善图像传感器的设计与制造.此外, 正是颜色恒常性问题, 尚没有一般性的解决方案, 使得人们不得不在各种已有方法的基础上, 为在合适的场景选择合适的方法而提出了场景建模类方法[23-24], 该类方法通过场景来分析每幅待测图像的特点, 单独选取具有针对性的已有方法的某一组合的所谓综合方案.例如:通过选择针对待测图像的Gray-edge框架各参数和范数阶等, 来达到取各种方案之长的总体效果[23-24].也可采用树状的稀疏表达结构, 来组合视觉感知中不同级别的信息, 包括从最低级别的像素分析到最高级别的场景内容信息等[25].这类综合方法的出现是建立在多种已有基础算法之上, 可供选择的基础算法越多, 效果往往更好, 因而颜色恒常性问题需要大量基础算法的研究.

由于颜色恒常性问题, 通常是在RGB空间中研究如何将偏色光图像转换成标准光(白光)图像的问题, 因此也俗称其为白平衡问题.适合人眼视觉生理特征的互补色理论, 是解释颜色恒常性问题的基本理论之一[26-27], 从互补色理论可知红–青、绿–品红、蓝–黄、黑–白等4对互补色是人眼视锥细胞的敏感点, 它们对人眼视觉生理系统的认知起着非常重要的作用[26], 而"互补色对"是人眼视觉中混合成白色的两种颜色.本文发现标准光的一对互补色, 当入射光源为偏色光时, 其统计特性将发生改变, 由此就产生了有用的知识, 本文将利用它来指导解决颜色恒常性问题.通过分析文献中解决颜色恒常性问题的方法可以发现:不论是基于图像像素级信息的Gray-edge框架, 还是基于统计的色域映射方法, 当将它们从低阶空间[5, 11]拓展到高阶空间[8, 12], 即能分析图像的边缘性质的时, 其性能均有较大提升.而我们知道小波方法是多尺度、多方向性的高阶分析工具, 它对图像边缘可进行更多更为细致的分析.如有能将互补色理论与小波进行结合的方法, 则可期待在互补色理论对颜色恒常性问题提供有用信息的同时, 利用小波的高阶分析特性, 更好地解决颜色恒常性问题.遗憾的是, 由于过去的很多图像处理方法往往忽略彩色通道直接的联系[28-29], 过去并没有这样的有效工具.最近, 文献[30]报道了一类进行这一结合的工具互补色小波变换(Complementary color wavelet transform, CCWT), 它们的多尺度变换, 结合了人眼视觉感知中重要的互补色理论和小波分析方法, 它们能将彩色图像的各个颜色通道映射到不同的小波基上, 进而可得到彩色图像中存在的主要互补色信息.通过研究这些互补色的统计特性, 本文发现其随不同颜色的光照而发生变化, 这意味着借助于互补色小波, 就可以联系颜色恒常性(白平衡)问题与互补色理论.当以标准光图像互补色小波域的多尺度统计特性作为统计基准时, 据偏色光所带来的统计特性的改变, 可对其光照参数进行统计估计.这样就提出一种全新的颜色恒常性方法互补色小波颜色恒常/白平衡的方法, 实验结果表明:本文提出方法优于现有文献报道的方法.

本文余下部分安排如下:第1节简介颜色恒常性和互补色小波; 第2节分析图像互补色的统计规律及相应的建模方法; 第3节讨论如何利用所建立模型来进行光照参数估计; 第4节给出了在常用数据库中本文方法的测试结果, 在验证方法有效性的同时, 与文献中报道的颜色恒常性方法进行了比较; 第5部分总结了全文.

图 1  色环与互补色小波

图 3  白色背景中一维边缘信号的互补色小波分解示例

图 4  互补色小波子带统计特性

本文借助于处理互补色的工具–互补色小波, 建立了不同颜色光照图像的互补色统计特性, 从而建立了互补色理论与颜色恒常性/白平衡问题的联系.

在贝叶斯统计分析框架下, 本文通过训练学习标准光照图像互补色域统计模型的参数, 它们包括反映图像多层级、多方向、具有不同互补色分布特征的互补色小波系数的协方差矩阵等; 再通过将未知光照图像进行同样的互补色小波分解, 并将其在不同层级、方向、互补色系数的分布规律结合先验知识, 来对光照参数矩阵进行贝叶斯估计.实验结果表明, 本文的互补色统计模型与先验知识的结合, 能有效利用互补色理论相关信息来解决颜色恒常性/白平衡问题, 而其结果与列出的最好文献算法相当, 其在常用数据库上估计到的光照参数误差中值减小0.1°, 而均值和最大值则减小0.3°.

作者简介

陈扬

复旦大学电子工程系博士研究生.主要研究方向为图像/视频处理. E-mail: 13110720040@fudan.edu.cn

张建秋  

复旦大学电子工程系教授.主要研究方向为信号处理及其在通信、控制、测量、图像和雷达中的应用. E-mail: jqzhang@ieee.org

李旦  

复旦大学电子工程系讲师.主要研究方向为数字信号处理及应用.本文通信作者. E-mail: lidan@fudan.edu.cn