引用本文

张红英, 朱恩弘, 吴亚东. 一种基于细节层分离的单曝光HDR图像生成算法. 自动化学报, 2019, 45(11): 2159-2170. doi: 10.16383/j.aas.2018.c170233

ZHANG Hong-Ying, ZHU En-Hong, WU Ya-Dong. High Dynamic Range Image Generating Algorithm Based on Detail Layer Separation of a Single Exposure Image. ACTA AUTOMATICA SINICA, 2019, 45(11): 2159-2170. doi: 10.16383/j.aas.2018.c170233

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170233

关键词

高动态范围，反色调映射算子，人类视觉系统，伽马校正，细节层分离 

摘要

针对利用单幅低动态范围（Low dynamic range，LDR）图像生成高动态范围（High dynamic range，HDR）图像细节信息不足的问题，本文提出了一种基于细节层分离的单曝光HDR图像生成算法.该算法基于人类视觉系统模型，首先分别提取出LDR图像的亮度分量和色度分量，对伽马校正后的亮度分量进行双边滤波，提取出亮度分量的基本层，再对基本层和亮度分量进行遍历运算，得到亮度分量的细节层；然后，构造反色调映射函数，分别对细节层和伽马校正后的亮度图像进行扩展，得到各自的反色调映图像；之后，将反色调映射后亮度分量与压缩后的细节层进行融合，得到新的亮度分量.最后，融合色度分量与新的亮度分量，并对融合后图像进行去噪，得到最终的HDR图像.实验表明该算法能挖掘出部分隐藏的图像细节信息，处理效果较好，运行效率高，具有较好的鲁棒性.

文章导读

高动态范围成像(High dynamic range imaging, HDRI)是一项近年来十分流行的技术, 简单地说就是让图像表现出更大的明暗差别, 高光不过曝, 暗调不欠曝, 使所有的层次和细节都很清楚.动态范围是环境中光照亮度级的最大值与最小值之比.现实世界真正存在的亮度差, 即最亮的物体亮度与最小的物体亮度之比为10的8次方, 而人类的眼睛所能看到的范围是10的5次方左右, 一般的显示器、照相机能表示的只有256种不同的亮度.因此, 为了在普通显示器上显示HDR图像, 必须将其动态范围进行压缩, 目前普遍采用色调映射算子(Tone mapping operators, TMOs)进行图像亮度的压缩[1-3].

随着显示器技术的发展, 比传统显示器具有更高动态范围的显示设备已稍具雏形, 同时更多高动态范围的图像和视频也因为相关技术的成熟而逐渐容易获得.然而现有的图像和视频大多还是在低动态范围的数位格式中保存, 因此如何利用反色调映射算子(Inverse tone mapping operator, ITMO)扩展亮度, 使之能够得到接近真实世界的动态范围是近年来图像处理领域热门的研究课题.反色调映射算子是实现由单幅低动态范围(Low dynamic range, LDR)图像生成一幅HDR图像的方法, 该类方法对单幅的LDR图像进行直接的转化, 不仅能实现静态HDR图像的拍摄, 还能进行HDR视频的录制.与此同时, 采用这种方法还可以将现有的大量LDR图像或视频资源生成HDR资源, 能够很好地解决HDR图像或视频资源匮乏的问题, 这些都是基于传统多曝光技术的HDR图像生成方法无法实现的.目前国内外对于单曝光HDR图像生成技术的研究已经取得了一定成果[4-8].但该技术在处理效果和处理效率上仍有相当的研究空间.

目前, 单幅LDR图像到HDR图像扩展的算法分为5类[9]:外形修整函数[10-11]、全局模型[12-14]、分类模型[15-16]、扩展映射模型[17-18]、基于用户的模型[19]以及其他一些比较特别的方法[20-23].文献[10-11]采用外形修整模型, 将LDR图像和视频中8 bit数据扩展到10 bit, 同时在扩展的变换域中将伪轮廓去除.采用这种方法扩展后的图像视频为中动态范围的图像视频.该方法并没有特别关注过曝光和欠曝光区域, 目前该模型由于扩展范围的局限性, 研究进展较缓慢; 文献[12-14]中的全局模型就是对图像或视频中的每个像素都运用相同的全局扩展函数, 该类算法复杂度通常较低, 对高质量LDR图像处理效果较好, 但往往不对压缩或量化产生的伪像作相应处理, 不能保证对压缩过的LDR图像处理的质量.而在实际应用中, 平时拍摄的图像或视频通常都进行过压缩处理, 这种情况下就需要更精确的扩展方法来避免压缩带来的伪像, 该模型的优点在于处理效率较高, 但缺点是处理图像要求高, 否则成像效果不好; 文献[15-16]提出的分类模型是尝试对LDR图像中的内容进行分区, 然后再对不同区域采取不同的策略进行处理.该模型通常是对图像中不同光源曝光程度进行分区; 文献[15]提出一种增强LDR视频亮度的交互系统, 主要思想是将1个场景分成散射区、反射区和光源区3个部分, 只增强反射区和光源区部分, 认为增强散射部分会产生伪像, 该系统是非线性的.目前采用分类模型的算法普遍存在着算法复杂度较高, 需要进行额外训练的问题.为提高算法效率, 往往需要从硬件上着手解决.扩展映射模型首先对输入的图像进行线性化, 然后采用反色调映射算子对图像的范围进行扩展[17-18], 再采用光源采样、滤波后亮度增强等方法对图像的过曝光区域进行重建.该模型是目前研究较为广泛的一种模型, 在扩展映射后还需要采用多种方法来提升图像中的信息量, 主要限制在于对过曝光区域太大的图像效果不理想; 文献[19]是基于用户的模型的代表算法, 该算法基于图像中存在过曝光和欠曝光区域类似结构的高质量块的假, 首先将LDR图像进行线性化, 然后通过查找图像中相似的高质量块对过曝光和欠曝光区域进行增强.对过曝光和欠曝光的修复分为自动和基于用户两种方式, 需要用户对图像进行修复.该模型与其他模型相比, 由于需要用户参与, 导致只能用于单帧图像而不能对视频进行HDR转换, 而且存在无法找到传递图像细节信息的块的情况.

除了以上5类常见的模型外, 还有一些比较特别的方法.文献[20]首先采用自适应直方图分离方法将原图构造出欠曝光和过曝光图像, 然后分别对过曝光和欠曝光图像进行处理, 最后采用多曝光图像融合的方法生成HDR图像; 文献[21]首先利用HVS对光的感应及理解特性, 构建HVS的局部自适应模型并对其求逆, 然后建立图像中每个像素点的局部亮度信息求取模型, 最后将每个像素的局部亮度信息运用于局部自适应模型的反函数中实现图像比特深度扩展, 在保证图像对比度的同时, 实现图像细节信息增强; 文献[22]提出一种基于光源采样的单曝光HDR图像生成算法, 通过对图像中存在的可能的光源信息进行采样, 模拟光线衰减效应, 有效地还原了高光部分的细节信息.值得注意的是, 由于单曝光LDR图像本身图像信息不足, 图像中的一些细节在生成HDR图像的过程中仍然缺失.因此, 本文提出一种基于细节层分离的单曝光HDR图像生成方法, 根据人眼视觉系统模型, 首先对图像的亮度分量进行分离, 并进行伽马校正; 然后对伽马校正后的亮度分量分离细节层, 并在反色调映射后对细节层进行融合得到新的亮度分量; 最后将图像亮度分量与色度、饱和度分量融合得到最终的HDR图像.大量对比实验表明, 本文提出的方法可以有效地提高图像的动态范围, 并挖掘出LDR图像中部分隐藏的细节信息, 一定程度上弥补了单曝光LDR图像细节信息不足的缺点, 处理效果较好, 运行效率高, 具有较好的鲁棒性.

图 1  算法总体框图

图 2  伽马变换函数

图 3  空间域滤波和值域滤波对应图示

针对单曝光LDR图像细节信息不足的问题, 本文提出了一种基于细节层分离的单曝光HDR图像生成算法.该算法结合HVS模型, 将LDR图像分离出亮度分量和色度分量.对分离出来的亮度分量进行Gamma校正, 之后再对Gamma校正后的图像采用双边滤波操作, 进行基本层与细节层分离; 然后将分离出来的细节层与Gamma校正后的亮度分量分别进行反色调映射后进行融合得到新的亮度分量; 最后将各图像分量进行融合去噪得到最终的HDR图像.通过与其他3种经典的单曝光HDR图像生成算法比较, 本文算法可以有效地提高图像的动态范围, 并挖掘出LDR图像中部分隐藏的细节信息, 在一定程度上弥补了单曝光LDR图像细节信息不足的缺点, 但对于存在极大面积饱和区域像素点的图像处理效果不佳, 与此同时, 为了算法效率考虑, 在反色调映射过程中, 牺牲了一定的扩展效果, 下一步需要对算法效率进一步提高, 并改善反色调映射算子.

作者简介

张红英

西南科技大学信息工程学院教授.2006年获得电子科技大学博士学位.主要研究方向图像处理, 计算机视觉和模式识别.E-mail:zhywyd@163.com

朱恩弘  

西南科技大学信息工程学院硕士研究生.2013年获得西南科技大学信息工程学院学士学位.主要研究方向为图像处理与模式识别.E-mail:enhongzhu@gmail.com

吴亚东   

西南科技大学计算机科学与技术学院教授.2006年获得电子科技大学博士学位.主要研究方向为可视化与可视分析, 虚拟现实与人机交互, 视觉计算.本文通信作者.E-mail:wuyadong@swust.edu.cn