引用本文

崔峥, 王森, 王娴, 段浩, 杨春曦, 那靖. 基于颜色转移和自适应增益控制的混合水下图像增强. 自动化学报, 2025, 51(2): 376−390 doi: 10.16383/j.aas.c240491

Cui Zheng, Wang Sen, Wang Xian, Duan Hao, Yang Chun-Xi, Na Jing. Hybrid underwater image enhancement based on color transfer and adaptive gain control. Acta Automatica Sinica, 2025, 51(2): 376−390 doi: 10.16383/j.aas.c240491

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240491

关键词

水下图像增强，颜色校正，梯度平滑，纹理增强，水下成像模型 

摘要

针对水下图像的颜色偏差和低对比度等退化问题, 提出一种基于颜色转移和自适应增益控制的混合水下图像增强方法. 首先, 根据颜色转移图像和最大衰减图引导的融合策略校正水下图像的颜色偏差. 其次, 利用一阶原始对偶方法对V通道进行滤波以有效地抑制噪声的干扰, 获得结构图像; 并且提出自适应增益控制, 根据图像的高频信息自适应调整增益, 以获得细节图像. 最后, 通过加权融合结构图像与细节图像, 得到高质量的水下图像. 实验结果表明, 针对不同自然和工业环境下的水下图像: 1) 所提方法可以有效地校正颜色失真现象; 2) 显著提高水下图像的对比度并且抑制噪声干扰; 3) 在定量评价指标和高级视觉任务(目标检测、图像分割、关键点检测和水下双目测距)中优于其他主流水下图像增强方法, 为水下目标抓取等工程应用提供了有益的参考.

文章导读

海洋中具有丰富的食物和储量巨大的矿产, 成为人类追求生存的第二空间. 近年来, 越来越多的研究者利用水下机器人携带着水下相机从事对海洋世界的探索[1]. 但由于水介质所独有的特性, 导致获取到的图像出现不同程度的退化, 如可见度低、色彩偏差和对比度低等. 退化的水下图像限制了基于水下视觉的海洋勘探[2]、设施检测[3]和机器人控制[4]等应用, 因此, 研究复杂水下环境中的图像清

晰化技术是至关重要的. 

水下图像清晰化可大致分为基于物理模型、基于非物理模型和基于学习的方法. 基于物理模型的方法涉及建立退化水下模型, 通过估计模型参数后反解获得恢复的水下图像. 常用的水下先验知识如: 暗通道先验及其变体[5-8]、最大强度先验[9]、模糊度先验[10]和雾线先验[11]等. 例如, He等[5]提出暗通道先验以消除室外有雾图像, 然而由于水介质对光的吸收作用, 导致暗通道不再适用. 针对该问题, Drews等[6]提出水下暗通道先验以估计水下场景的透射率. 为了改进水下暗通道先验的局限性, Peng等[10]提出基于图像模糊度先验和光吸收结合的方式, 以估计水下透射率和场景深度. Berman等[11]引入雾线先验以解决水介质依赖光波长衰减的特性. 此外, Xie等[12]将模糊核稀疏先验和归一化总变差项相结合, 以实现水下图像的去雾和去模糊. 然而, 该模型依赖于预先设计的先验知识. 因此, 当先验知识不适合水下场景的具体特征时, 恢复的图像往往质量较差. 

基于非物理模型的方法通过对图像像素值进行直接操作而无需物理模型, 具有简单、快速等优点. 目前, Ancuti等[13]引入伽马校正和锐化操作以获得图像融合策略的输入图像, 通过多尺度金字塔得到最终具有更好清晰度和对比度的图像. Zhang等[14]提出最小颜色损失和局部自适应对比度增强的方法, 分别用于消除水下颜色色偏和对比度下降的问题. Zhuang等[15]提出一种基于贝叶斯Retinex算法, 通过引入多阶梯度先验去估计水下成像模型的透射率和光照, 反解获得清晰的水下图像. Ghani等[16]提出基于瑞利直方图拉伸以提高退化水下图像的对比度和能见度. 杨淼等[17]针对水下图像的非均匀亮度问题, 提出模糊形态筛和四元数的水下增强方法以提高水下图像的对比度. 

基于学习的方法受限于水下数据集的匮乏, 并且需构建由退化图像和相应的清晰图像所组成的成对训练数据, 但清晰的水下图像往往难以获取[18-20]. 目前, 基于学习的方法通常使用合成的水下图像进行模型训练, 限制了其在真实水下环境中的应用. 

上述方法虽能有效地提高水下图像的能见度和对比度, 但忽略了水介质中不同浑浊程度所引起的图像模糊和色偏等退化因素, 导致其难以适用于复杂的水下场景. 为了解决上述问题, 本文提出一种基于颜色转移和自适应增益控制的混合水下图像增强方法. 具体而言, 将水下图像增强任务分为自适应颜色校正和自适应细节增强两个子任务. 针对第一个子任务, 提出自适应颜色校正以消除水下图像的色偏现象. 该方法首先将退化水下图像转移到LMS色彩空间中, 以更好地反映水介质对于不同波长光的吸收作用并且通过线性拉伸以提高图像的灰度占用率. 其次, 根据工业水下场景的特性提出最小平均先验以估计不同颜色通道的衰减系数并获得最大衰减图, 通过基于最大衰减图的融合策略获得颜色校正图像. 尽管颜色校正图像可以有效去除图像色偏的影响, 但难以抑制图像的噪声和突出场景的细节信息. 针对上述问题, 本文提出第二个子任务以自适应提高图像的细节信息并抑制噪声. 所提方法首先利用一阶原始对偶方法平滑色彩校正图像的V通道, 在获得结构图像的同时抑制噪声的干扰. 随后, 引入自适应增益控制函数提高图像中的高频信息, 以获得细节图像. 最后, 通过加权融合的方式获得具有高质量的水下图像. 实验结果表明, 所提出的方法能够在不同自然和工业水下环境中提升图像对比度和细节信息, 并且具有自然的色彩效果. 

综上所述, 该方法的主要贡献体现在两方面: 1) 针对水介质对光的吸收作用所引起的图像色偏问题, 提出基于颜色转移和最大衰减图引导的水下校正方法; 2) 为了有效抑制水下环境中的噪声干扰, 并提高水下图像的对比度和边缘细节信息, 提出基于一阶原始对偶和自适应增益控制函数相结合的细节增强方法. 

图 1  本文提出方法的工作流程

图 2  不同颜色校正方法的定性结果

图 4  结构−细节图像示例

针对水下图像存在色彩偏差、低对比度等退化问题, 提出一种基于颜色转移和自适应增益控制的混合水下图像增强方法. 该方法在自适应颜色校正中考虑色彩空间变换和不同波长光的衰减特性, 并且基于最大衰减图引导的融合策略获得颜色校正图像. 随后, 在自适应细节增强中引入总变差项和积分图以计算图像的结构图像和低频图像, 并利用自适应增益控制函数自适应地调整颜色校正图像的纹理细节信息. 在自然和工业水下环境中进行大量实验证明了所提方法的有效性和鲁棒性. 此外, 该方法可以有效提高水下标定任务的准确性, 为后续水下视觉伺服应用奠定基础. 虽然所提方法可以有效地提高不同水下环境图像的质量, 但面对人造光源和弱光等特定条件的水下图像时, 仍然存在挑战. 后续也将进一步研究面向实际水下工程应用的图像增强方法, 以进一步提高下游视觉任务的性能. 

作者简介

崔峥

昆明理工大学机电工程学院博士研究生. 主要研究方向为水下图像增强, 计算机视觉. E-mail: cuizheng305@gmail.com

王森

昆明理工大学机电工程学院副教授. 主要研究方向为计算机视觉, 故障诊断. E-mail: wangsen0401@126.com

王娴

昆明理工大学机电工程学院高级实验师. 主要研究方向为自适应控制, 鲁棒控制. 本文通信作者. E-mail: wanglywxian@163.com

段浩

昆明理工大学机电工程学院研究员. 主要研究方向为系统动力学. E-mail: duanhao705@163.com

杨春曦

昆明理工大学机电工程学院教授. 主要研究方向为智能控制系统, 过程控制. E-mail: ycx2003@163.com

那靖

昆明理工大学机电工程学院教授. 主要研究方向为自适应控制, 参数估计, 非线性控制及应用. E-mail: najing25@kust.edu.cn