引用本文

徐少平, 张贵珍, 林珍玉, 刘婷云, 李崇禧. 一种多图像局部结构化融合的低照度图像增强算法. 自动化学报, 2022, 48(12): 2981−2995 doi: 10.16383/j.aas.c190417

Xu Shao-Ping, Zhang Gui-Zhen, Lin Zhen-Yu, Liu Ting-Yun, Li Chong-Xi. A multi-image local structured fusion-based low-light image enhancement algorithm. Acta Automatica Sinica, 2022, 48(12): 2981−2995 doi: 10.16383/j.aas.c190417

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190417

关键词

低照度图像增强，局部结构化融合，融合权重，视觉显著度，相位一致性 

摘要

为将低照度图像及基于它生成的多个不同曝光度图像中的互补性信息进行最佳融合以获得更为鲁棒的视觉增强效果, 提出了一种基于多图像局部结构化融合的两阶段低照度图像增强(Low-light image enhancement, LLIE)算法. 在待融合图像制备阶段, 提出了一种基于图像质量评价的最佳曝光度预测模型, 利用该预测模型给出的关于低照度图像最佳曝光度值, 在伪曝光模型下生成适度增强图像和过曝光图像 (利用比最佳曝光度值更高的曝光度生成)各一幅. 同时, 利用经典Retinex模型生成一幅适度增强图像作为补充图像参与融合. 在融合阶段, 首先将低照度图像、适度增强图像(2幅)和过曝光图像在同一空间位置处的图块矢量化后分解为对比度、结构强度和亮度三个分量. 之后, 以所有待融合对比度分量中的最高值作为融合后的对比度分量值, 而结构强度和亮度分量则分别以相位一致性映射图和视觉显著度映射图作为加权系数完成加权融合. 然后, 将分别融合后的对比度、纹理结构和亮度三个分量重构为图块, 并重新置回融合后图像中的相应位置. 最后, 在噪声水平评估算法导引下自适应调用降噪算法完成后处理. 实验结果表明: 所提出的低照度图像增强算法在主客观图像质量评价上优于现有大多数主流算法.

文章导读

标准成像设备在背光、微光、夜间等照明条件不佳的环境下采集到的低照度图像必须经过增强处理后才能用于后继的各类图像处理任务[1-3]. 早期, 低照度图像增强(Low-light image enhancement, LLIE)算法主要采用直方图均衡化(Histogram equalization, HE)技术实现[4-5]. HE方法本质上是通过拉伸图像像素点灰度值的范围让它们在系统允许范围内均衡分布, 从而达到增加对比度的目的. 因其实现复杂度低, 得到了广泛的应用, 但这类算法很容易出现过增强、欠增强、细节保护不佳等问题[6-8]. 近十年来, 研究者发现倒置后的低照度图像从直观角度看起来很像雾霾图像[9-10], 因此借用去雾技术实现了一类视觉增强效果不错的LLIE算法[9-10]. 这类算法虽然在大多情况下能产生较为理想的增强效果, 但其结果缺乏令人信服的物理模型解释, 增强后的图像中有时存在明显的颜色失真.

在过去的十多年中, 基于Reinex光照物理模型实现的一类LLIE算法[11-14]获得了研究者的广泛关注. 该类算法通常利用对数函数将光学中照射分量(Illumination)与反射分量(Reflectance) 乘性关系转换为加性关系处理, 然后采用某种先验正则项构建目标函数, 并通过寻优的方法估计照射分量, 将低照度图像中的照射分量分离后得到反映场景对象本身性质的反射分量, 从而实现图像增强. 例如, Guo等[12]提出了一种称为LIME (Low-light image enhancement)低照度图像增强算法. LIME算法首先对低照度图像照射分量进行初步估计, 然后利用结构先验知识对初步估计结果进行优化, 最后根据优化后的照射分量实现图像增强. 此外, 为了抑制增强图像时引入的噪声, LIME算法采用了经典BM3D (Block-matching and 3D filtering)[15]降噪算法完成增强图像的后处理. 上述各类LLIE算法在设计上均是仅利用单一的低照度图像作为算法的输入, 虽然在视觉上可以获得比较理想的增强效果, 但由于要完成照射分量和反射分量的分离, 在执行效率上偏低, 在对执行时间有严格要求的应用中受到一定的限制. 另外, 单幅低照度图像中所蕴含的有效信息毕竟有限, 导致这些算法不能全面有效地展示图像中所有的细节. 因此, 为充分利用自然图像中所蕴含的先验知识达到提高增强效果的目的, 基于机器学习的LLIE算法成为研究者关注的热点[16-17]. 例如, Lore等[16]利用深层自动编码器构建了称为低照度图像增强网络的增强算法. Lore算法能在对比度增强中有效地克服噪声的影响, 在一些常见测试图像中能达到不错的增强效果. Park等[17]基于Retinex模型原理将叠加式和卷积型两种自动编码器相结合, 提出了一种基于训练的LLIE新算法, 实现了低照度图像增强和降噪功能. 该算法首先使用带有少量隐藏单元的堆叠式自动编码器估计输入图像的空间光滑照射分量, 然后使用卷积自动编码器来处理图像, 以减少对比度增强过程中引入的噪声. 一般来说, 基于机器学习实现的LLIE算法, 虽然能够获得比传统方法更具优势的增强效果, 但其性能仍然在一定程度上受到限制, 其主要原因在于采集用于训练模型的图像数据集合比较困难.

近年来, 研究者们受高动态范围技术(将同一场景中拍摄的一组不同曝光度的图像, 通过图像融合方法获得高质量输出图像)启发, 基于给定的低照度图像及基于它生成的多幅不同曝光度的图像, 通过将它们之间互补性的图像信息融合在一起, 获得了更好的图像增强效果[18-24], 是研究LLIE算法的新方向之一. 例如, Fu等[19]首先在Reinex模型下快速地将低照度图像分解为照射分量和反射分量, 对于照射分量使用局部和全局优化技术增强. 然后, 根据图像质量指标设置像素点级的权重值, 将原始、局部和全局优化后的3幅照射图像在多尺度融合框架下融合为一幅最佳照射图. 最后, 通过将优化后的照射图补偿到反射分量上获得最终的增强图像. Fu算法采用多尺度融合的方式提高了增强图像的视觉质量, 在细节增强、局部对比度改善和自然度保持方面获得了最佳平衡. 但是该算法输出的增强图像中某些区域的可见性仍然不够高. Liu等[22]提出了一种基于最优加权多曝光融合机制的LLIE算法. 该算法首先使用多个色调映射函数构造关于低照度图像的多幅不同曝光度版本, 接着根据视觉感知质量度量自适应地从所有的多曝光图像序列中定位出局部最佳曝光区域, 然后将它们无缝地集成到一个曝光良好的图像中. 经过Liu算法增强的图像, 能达到理想的颜色保真效果, 同时也保留了低曝光图像中的一些细节, 但是处理曝光度非常低的图像仍无法取得令人满意的效果. Ying等[18]提出了一种基于互信息最优伪曝光技术的LLIE新算法. 该算法基于给定的低照度图像, 首先基于互信息最大化的原则利用伪曝光技术获得一幅关于低照度图像的适度曝光图像, 然后根据图像像素亮度值设置权重将低照度图像和适度曝光图像两幅图像在像素级上完成融合. 总体上, Ying算法实现效率高且增强效果不错, 然而Ying算法在计算融合图像的权重时仅是考虑图像像素点本身曝光度, 这种图像加权的方式对于自然图像复杂的局部结构过于简单, 且对噪声比较敏感, 导致最终在增强后的图像中仍然有很多图像细节未能很好地得到保护和增强. 此外, Ying算法仅采用一幅曝光适度的伪曝光图像作为低照度图像的互补图像, 所能提供的有用信息仍然不够全面. 在适度曝光的图像中, 仍然存在曝光不充分的区域需要增强.

受Ying等算法启发, 为了获得更好的图像增强效果, 本文提出了一种在多图像局部图像结构化融合框架下的LLIE (Multi-image local structured fusion-based LLIE, MLSF-LLIE)算法, 从待融合图像制备和局部结构化融合两个方面对Ying算法进行改进. 基于给定的低照度图像, MLSF-LLIE算法先利用预先训练的最佳曝光度预测模型(Optimal exposure ratio prediction model, OERPM)预测其最佳曝光度值, 在伪曝光模型下制备用于融合的适度增强图像和过曝光图像(采用比最佳曝光度值更高的曝光度值生成)各一幅. 此外, 还将Fu算法[19]输出的增强图像作为适度增强图像参与融合. 基于Reinex光照物理模型构建的Fu算法所输出的增强图像, 在细节保护、图像保真度、噪声抑制方面可以与Ying伪曝光模型生成图像形成很好的互补作用. 另一方面, 为了更好地保持图像的边缘和纹理细节, 采用了局部结构化分解和重构的融合技术将之前制备的图像融合后作为最终的增强图像. 实验结果表明: 所提出的MLSF-LLIE算法不仅能对低照度图像中的对比度进行合理调整, 展现出更多的图像内容, 而且很好地保护了图像的边缘细节, 在主客观图像质量评价指标上优于现有大多数主流算法, 这主要得益于充分利用了多幅不同曝光度图像中的互补性信息和局部结构化的融合.

图 1  Ying算法中实现低照度图像增强的融合框架

图 2  待融合图像纹理结构权重的比较分析

图 3  待融合图像亮度值权重的比较分析

本文提出了一种称为MLSF-LLIE的多图像局部结构化融合的低照度图像增强算法, 该算法从待融合图像制备和多图像融合两个方面对现有的Ying算法进行了改进. 改进算法可以充分利用中心像素点周围局部的结构化信息, 在增强图像对比度的同时有效地保持图像的边缘和纹理细节, 图像失真程度低.

当然, 所提出的MLSF-LLIE算法也存在一些不足: 1)噪声抑制问题. 目前, 完成噪声抑制的工作普遍是由经典的BM3D算法来完成[12, 19, 32]. 然而, BM3D等大多数降噪算法在设计的时候均是假设噪声图像中的噪声为加性高斯白噪声, 低照度图像增强过程伴生的噪声属于信号相关噪声(Signal dependent noise, SDN), 并不完全符合高斯分布特性, 故现有的降噪算法对此类噪声处理的效果并不理想, 需要专门研究相应的降噪算法以获得最佳的降噪效果. 2)提高执行效率问题. 所提出的算法包括制备图像和图像融合两个阶段, 目前它的执行效率还有待提高. 未来可以采用多通道卷积神经网络(Multi-channel convolutional neural network)构建具有融合功能的神经网络模型, 直接将上述融合操作功能体现在网络模型的超参数当中. 总之, 将所提出的MLSF-LLIE算法中比较耗时的功能模块用非线性映射能力强大的深度卷积网络模型化以后, 受图形处理单元(Graphics processing unit, GPU)硬件支持的卷积神经网络可显著提高其执行效率.

作者简介

徐少平

南昌大学数学与计算机学院教授. 主要研究方向为数字图像处理与分析, 计算机图形学, 虚拟现实, 手术仿真. 本文通信作者. E-mail: xushaoping@ncu.edu.cn

张贵珍

南昌大学数学与计算机学院硕士研究生. 主要研究方向为图像处理与计算机视觉. E-mail: 406130917331@email.ncu.edu.cn

林珍玉

南昌大学数学与计算机学院硕士研究生. 主要研究方向为图像处理与计算机视觉. E-mail: 401030918076@email.ncu.edu.cn

刘婷云

南昌大学数学与计算机学院硕士研究生. 主要研究方向为图像处理与计算机视觉. E-mail: 416114517210@email.ncu.edu.cn

李崇禧

南昌大学数学与计算机学院硕士研究生. 主要研究方向为图像处理与计算机视觉. E-mail: 406130917315@email.ncu.edu.cn