引用本文

陈超洋, 胡盼, 何磊, 易遵辉, 桂卫华. 基于相对总变差统计线的水下图像快速增强方法. 自动化学报, 2025, 51(8): 1869−1882 doi: 10.16383/j.aas.c240794

Chen Chao-Yang, Hu Pan, He Lei, Yi Zun-Hui, Gui Wei-Hua. Fast enhancement method for underwater images based on relative total variation statistical line. Acta Automatica Sinica, 2025, 51(8): 1869−1882 doi: 10.16383/j.aas.c240794

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240794

关键词

水下图像，相对总变差，颜色校正，图像增强，统计线

摘要

针对水下采集的图像存在模糊、低对比度和颜色失真等低质量问题, 提出一种基于相对总变差统计线的水下图像快速增强方法. 首先, 采用线性拉伸的方法来校正图像的颜色信息, 消除颜色偏差并恢复图像的自然度. 其次, 基于大气散射模型, 结合图像的纹理信息构建水下图像的相对总变差统计线模型, 利用该模型准确估计图像深度图. 此外, 提出一种基于图像分块细分的水下背景光估计方法, 得到鲁棒的全局背景光估计值. 最后, 在估计的背景光和深度图基础上得到符合人眼感官视觉的水下增强图像. 实验结果表明, 所提方法不仅在主客观图像质量评价上具有明显优势, 而且在计算效率上优于现有的先进方法.

文章导读

水下图像作为海洋信息的主要载体, 在海洋探索中发挥着重要的作用, 广泛应用于海洋资源开发、水下目标自主搜寻与探测和水下机器人等海洋工程领域[1−3]. 然而, 光在水中存在吸收和散射效应, 会导致水下图像出现图像色偏、雾化及对比度降低等图像退化问题[4]. 在退化的水下图像中, 由于目标图像缺少有效的特征信息, 导致水下目标检测的准确度较低[5]. 因此, 水下图像增强技术仍是图像处理领域亟待解决的问题. 为应对这些挑战, 研究人员提出多种水下图像增强方法, 主要分为非物理模型方法、物理成像模型方法以及深度学习方法.

基于非物理模型的水下图像增强技术通过直接调整图像的像素值来改善图像质量, 而不考虑图像的物理成像模型. 常见的图像增强方法有直方图均衡方法、Retinex图像增强方法等. Zhang等[6]提出衰减彩色通道校正和细节保持对比度增强的水下图像增强方法, 该方法采用基于双直方图的迭代阈值方法和带有瑞利分布的有限直方图方法来提高校正后图像的全局和局部对比度. Ulutas等[7]提出全局和局部对比度增强技术, 全局技术实现图像的整体增强, 而局部技术则考虑图像在RGB色彩空间中的局部亮度特征. Hu等[8]提出一种多通道自适应融合水下图像增强算法, 该算法采用对比度受限自适应直方图均衡算法和局部熵约束灰色世界算法相结合, 融合不同通道图像的信息优势, 得到最终的增强图像. Zhuang等[9]设计一种基于贝叶斯的Retinex算法, 通过对反射率和光照施加多阶梯度先验来实现水下图像增强. 在此基础上, Zhuang等[10]提出基于超拉普拉斯反射率先验的水下图像增强方法, 超拉普拉斯反射率先验是基于反射率的一阶和二阶梯度上的1/2范数惩罚来建立的. 这些先验利用促进稀疏性和全面完整的反射率, 用于增强显著结构和细节, 并恢复真实色彩的自然性. Zhou等[11]提出一种将像素分布重映射与多优先级Retinex变分模型相结合的水下图像增强方法. 该方法通过设计一种预补偿方法, 有效防止颜色校正过程中出现新的色彩伪影. 通过结合通道之间的耦合关系, 计算一个限制因素来重新映射像素分布曲线, 以提高图像对比度. 在构建变分模型时引入先验知识, 并设计匹配水下特征的惩罚项, 以消除反射成分中过多的噪声. 基于非物理模型的增强算法虽然简单, 但在图像处理中忽略水下成像的原理, 容易引入噪声和伪影, 出现过度增强或欠增强现象.

随着人工智能技术的快速发展, 深度学习在提升水下图像质量增强方面取得显著进展, 主要以卷积神经网络(Convolutional neural network, CNN)、生成对抗网络(Generative adversarial network, GAN)和Transformer架构为基础. 卷积神经网络擅长提取图像的局部特征, 研究多采用CNN进行端到端的图像增强. Wang等[12]提出一种基于CNN的双色模型水下图像增强方法, 该方法有效地将RGB颜色空间和HSV颜色空间融合到CNN. Huang等[13]提出一种基于多尺度循环网络的水下图像增强方法, 该方法将颜色校正和去模糊循环网络结合进行水下图像增强. Shen等[14]针对自注意力机制的高效性开展研究, 采用信道与像素双自注意力模块实现对水下图像特征的高效编码和解码, 同时提出像素自注意的移窗方法提高计算效率. 基于CNN的水下图像增强方法局部感知能力强, 但对全局色彩平衡和复杂退化建模能力有限. 随着生成对抗网络在图像生成领域的飞速发展, 水下图像增强的研究重心逐渐向GAN发生偏移, 基础的GAN模型由生成器和鉴别器组成. 在GAN的框架下, Zhang等[15]提出一种端到端的双生成对抗网络用于水下图像增强. 该方法以现有方法处理后的图像作为训练样本参考, 将其分割成透明部分和不透明部分, 两个判别器分别用于完成针对不同训练策略的图像不同区域的对抗训练. Huang等[16]提出一种面向目标的感知对抗融合网络用于水下图像增强. 该方法采用双通道注意力模块, 引导潜在特征的自适应融合. 为减少合成图像和真实世界图像之间的差距, 在重建中引入全局−局部对抗机制. Bakht等[17]结合生成对抗网络和多级注意力机制提出基于Mula-GAN (Multi-level attention GAN)的水下图像增强方法. 通过在GAN架构中整合多级注意力机制, Mula-GAN能优先学习对图像恢复至关重要的特征. 它借助空间注意力机制关注图像区域内的局部细节, 利用多级注意力机制捕捉整个图像在不同尺度上的特征, 从而识别并增强被水下失真遮盖的物体、纹理和边缘, 同时通过分析低级信息和高级信息重建更准确地表示水下场景. 基于GAN的水下图像增强方法可实现无监督学习, 适应于数据稀缺场景, 但该类方法训练不稳定, 容易出现模式崩溃. Transformer结构因其全局建模能力强, 近年来也被引入水下图像增强任务中. Wang等[18]提出一种基于U-Net架构的改进型图像增强模型Uformer. 该模型通过引入滑动窗口策略以构建自注意力机制, 从而有效降低计算复杂度. 此外, Uformer在解码阶段引入具备多尺度空间偏置的可学习恢复调制器, 以适应不同尺度的特征恢复需求. 该结构在整合局部与全局特征依赖方面展现出优越的图像恢复能力. Wang等[19]提出一种将卷积神经网络与特征融合相结合的新型水下图像增强方法. 所提出的模型采用多尺度U-Net结构来充分挖掘丰富的纹理信息和语义信息. 在编码器和解码器之间构建跳跃融合连接模块, 通过有效的双向交叉连接和加权融合来融合多尺度特征, 为解码器的重建提供更丰富的特征信息. Qing等[20]提出一种名为Unformer的水下图像增强方法. 该方法基于Transformer架构, 通过多尺度自适应特征聚合来恢复水下图像的光照和细节特征. Unformer采用一种新颖的编码器结构, 重新审视卷积和Transformer之间的关系, 能够同时整合长距离和短距离依赖关系. 通过动态整合长短程特征, 构建丰富的上下文信息, 从而显著提升图像增强效果. 然而, 基于深度学习的方法需要大量成对数据, 目前训练过程所需的水下数据集较为匮乏, 同时训练网络的损失函数在高维参数空间中很难达到纳什均衡.

相较于其他两种方法, 基于物理模型的水下图像增强方法通过引入先验知识, 利用水下物理成像模型反向求解图像深度率与背景光, 得到未退化图像, 图像增强的性能较好. 现有的基于物理模型的水下图像增强方法大多源自暗通道先验(Dark channel prior, DCP)方法[21], 该方法通过场景中最暗的通道计算深度图, 实现图像去雾. 然而, 由于水下图像常出现蓝色或绿色的颜色偏差, 导致暗通道接近于零, 无法直接通过DCP方法获取图像的深度信息. 为此, 研究人员针对水下环境的特点提出多种改进的DCP方法. Zhang等[22]提出一种用于水下图像去雾的自适应颜色校正方法, 通过图像模糊度估计的深度图来去除水下图像的雾, 并采用乘数交替方向法和直方图位移提高均匀亮度及校正恢复水下图像的颜色失真. Wu等[23]提出一种优化的红暗通道先验图像恢复方法, 在使用传统的水下成像模型的基础上设置双阈值判断主色调并计算深度图来恢复水下图像. Ding等[24]提出一种场景深度正则化水下图像去雾方法, 通过颜色通道之间的差异来估计场景深度, 并采用总变化正则化对其进行细化. Zhang等[25]提出一种基于红色通道校正和改进的多尺度融合的水下图像增强算法. 改进的多尺度融合算法计算图像的RGB和LAB色彩空间中的权重, 有效地整合通道差异, 从而优化权重以提供更彻底的融合过程. 尽管基于先验信息的图像增强算法在解决水下图像雾化和色彩失真等问题上取得一定的成效, 但这些算法中的参数设置往往依赖于研究者的主观经验, 这限制了算法性能的最大化.

本文进一步研究水下图像中局部纹理信息的分布特征, 并提出一种基于相对总变差统计线的水下图像快速增强方法. 这项工作的关键是将深度图的估计转化为相对总变差统计线模型的构建, 主要贡献如下: 1)基于水下图像不同区域的结构和纹理特征, 利用图像局部像素间的相对总变差统计线性关系构建统计模型, 将深度图的估计转化为相对总变差统计线的构建, 基于该统计线提出一种新的水下图像增强方法; 2)提出一种简单有效的色彩校正方法, 通过对输入彩色图像进行线性拉伸, 有效消除水下图像的颜色偏差并恢复图像的自然度; 3)采用基于图像分块细分的水下背景光估计方法, 提升了全局背景光估计值的准确性和鲁棒性.

图 1  示意图((a)水下成像模型; (b)水下光吸收)

图 2  所提方法的算法流程框架

图 3  原始图像与颜色校正图像直方图比较

本文提出一种基于相对总变差统计线的水下图像快速增强方法. 该方法在颜色校正的基础上, 以大气散射模型为基础, 结合图像的纹理信息构建水下模糊图像的相对总变差统计线, 准确估计图像深度图, 在色彩恢复和去模糊的同时增强图像对比度, 具有较好的视觉效果. 所提方法在公共水下图像数据集上进行性能评估, 大量的定性和定量实验证明所提方法不仅在增强水下图像质量方面具有明显优势, 而且在计算效率上优于现有的先进方法.

当然, 所提出的方法也存在一些不足, 如噪声抑制问题: 所提方法不能平滑噪声. 因此, 有必要进一步研究水下图像噪声平滑方法, 进而在水下图像的不同区域施以不同的滤波强度实现细节保持的噪声平滑结果.

作者简介

陈超洋

湖南科技大学信息与电气工程学院教授. 2014年获得华中科技大学博士学位. 主要研究方向为群机器人系统智能感知与协同控制, 复杂网络研究. E-mail: ouzk@163.com

胡盼

湖南科技大学计算机科学与工程学院博士研究生. 2017年获得湖南科技大学硕士学位. 主要研究方向为图像处理和视觉检测. E-mail: hupan0916@163.com

何磊

湖南科技大学信息与电气工程学院讲师. 2023年获得中南大学博士学位. 主要研究方向为视觉检测, 图像处理和深度学习. 本文通信作者. E-mail: helei_xb@hnust.edu.cn

易遵辉

湖南科技大学信息与电气工程学院讲师. 2023年获得中南大学博士学位. 主要研究方向为光学成像, 图像处理, 视觉检测. E-mail: yizunhui@hnust.edu.cn

桂卫华

中南大学自动化学院教授. 1981年获得中南矿冶学院硕士学位. 主要研究方向为复杂工业过程检测、建模与控制. E-mail: gwh@csu.edu.cn