引用本文

杨爱萍, 刘瑾, 邢金娜, 李晓晓, 何宇清. 基于内容特征和风格特征融合的单幅图像去雾网络. 自动化学报, 2023, 49(4): 769−777 doi: 10.16383/j.aas.c200217

Yang Ai-Ping, Liu Jin, Xing Jin-Na, Li Xiao-Xiao, He Yu-Qing. Content feature and style feature fusion network for single image dehazing. Acta Automatica Sinica, 2023, 49(4): 769−777 doi: 10.16383/j.aas.c200217

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200217

关键词

图像去雾，卷积神经网络，特征融合，颜色保持，注意力通道加权 

摘要

基于深度学习的方法在去雾领域已经取得了很大进展, 但仍然存在去雾不彻底和颜色失真等问题. 针对这些问题, 本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络. 所提网络包括特征提取、特征融合和图像复原三个子网络, 其中特征提取网络包括内容特征提取模块和风格特征提取模块, 分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征. 在特征融合子网络中, 引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习, 并将加权后的内容特征图与风格特征图通过卷积操作相融合. 最后, 图像复原模块对融合后的特征图进行非线性映射得到去雾图像. 与已有方法相比, 所提网络对合成图像和真实图像均可取得理想的去雾结果, 同时可有效避免去雾后的颜色失真问题.

文章导读

在雾霾天气条件下采集到的图像降质严重, 存在对比度下降、颜色失真和细节丢失等问题, 严重影响视觉效果. 同时, 也不利于图像特征提取和辨识, 导致户外视觉系统难以发挥效用. 因此, 图像去雾具有重要研究意义[1].

图像去雾方法可以分为基于图像增强的方法、基于物理模型的方法和基于深度学习的方法. 基于图像增强的方法[2-3]不考虑图像降质的原因, 通过增强图像的对比度来改善视觉效果. 基于物理模型的方法以大气散射模型[4]为基础, 基于不同的先验信息估计传输图和大气光对模型求解, 实现图像去雾. 该类方法中, 基于暗通道先验(Dark channel prior, DCP)的去雾方法研究最多应用最广[5], 其通过图像的暗通道先验求解传输图, 取得了较好的去雾效果. Berman等[6]基于非局部先验估计传输图, 并利用正则化方法对传输图进行优化. Zhu等[7]提出基于颜色衰减先验恢复图像的深度信息, 进而估计图像的传输图. 杨燕等[8]针对暗通道先验的不足, 提出一种基于高斯权重衰减的迭代优化去雾算法, 恢复的无雾图像较为清晰自然. 虽然基于物理模型的去雾方法取得了显著的进展, 但简化的物理模型会导致传输图和大气光估计出现误差, 且先验信息不具有普遍适用性, 易出现去雾不彻底和颜色失真等现象.

目前, 基于深度学习的方法成为研究的主流. 该类方法大多基于卷积神经网络(Convolutional neural network, CNN)构建可训练的端到端去雾网络, 其又可以分为间接端到端网络和直接端到端网络. 其中间接端到端去雾网络, 首先估计传输图、大气光或其他中间变量, 然后依据大气散射模型恢复无雾图像. Cai等[9]基于CNN提出一种DehazeNet网络来估计传输图, 该网络根据传统去雾方法中的先验信息进行构建, 其包括特征提取层、多尺度映射层、局部极大化层和非线性回归层. Ren等[10]基于CNN提出一种多尺度策略估计传输图, 用粗尺度网络估计初始传输图, 并用细尺度网络进行细化. 该网络估计的传输图更加真实, 一定程度上避免了细节信息损失. Zhang等[11]基于CNN提出一种密集连接金字塔网络结构(Densely connected pyramid dehazing network, DCPDN), 其通过两个子网络分别估计传输图和大气光值, 然后将得到的无雾图像与清晰图像输入鉴别网络基于生成对抗网络(Generative adversarial networks, GAN)损失函数联合训练得到最终的无雾图像. Li等[12]重新构造大气散射模型, 将传输图和大气光值整合成一个参数K, 并基于CNN设计AOD-Net估计该参数. Ren等[13]基于图像融合思想提出一个端到端的门控融合网络(Gated fusion network, GFN), 该网络首先估计三幅输入图像分别对应的权重图, 然后以权重图为引导将三幅输入图进行加权融合, 得到无雾图像. 上述间接端到端去雾网络虽然取得了相对不错的去雾效果, 但大多依赖于大气散射模型, 估计的传输图往往包含过多的细节信息, 且大多数方法将大气光设置为全局一致常量, 去雾后的图像易出现颜色失真. 直接端到端去雾网络则直接学习有雾图像到无雾图像之间的映射关系来恢复无雾图像. Li等[14]基于条件生成对抗网络(Conditional generative adversarial networks, cGAN)提出一个端到端可训练去雾网络, 并且引入VGG特征和L1正则化梯度先验构建损失函数. Qu等[15]提出了一个增强的pix2pix去雾网络(Enhanced pix2pix dehazing network, EPDN), 直接学习有雾图像和无雾图像之间的映射关系, 恢复的无雾图像较为清晰自然. Qin等[16]提出了一个端到端的特征融合注意力网络(FFA-Net), 该网络可有效提取图像特征, 但由于该网络通过学习有雾图像和清晰图像的差值进行去雾, 而忽略了图像的整体风格特征, 对于真实场景去雾效果不理想. Guo等[17]设计了一个端到端的融合去雾网络 (FS-Net), 首先对原图像进行预处理得到五幅增强图像, 然后将增强图像输入去雾网络得到无雾图像. 但因其有预处理过程, 容易导致颜色失真. Yang等[18]提出一种端到端的多尺度特征聚合去雾网络(Y-Net), 并且设计了小波结构相似性损失函数来训练网络, 但网络中连续的下采样可能会导致图像特征的丢失, 从而恢复的无雾图像细节信息和颜色信息保持度不足. 上述直接端到端方法在一定程度上提高了图像复原质量, 但在学习过程中往往出现过拟合现象, 易忽略图像原有的风格特征, 造成部分区域去雾不彻底或过度去雾, 恢复图像出现颜色失真.

针对以上问题, 本文提出了一个将内容特征和风格特征相融合的单幅图像去雾网络. 以级联的残差块[19]和级联的残差密集块[20]为主体框架设计内容提取模块和风格提取模块提取图像特征. 另外, 采用注意力机制[21]对提取到的内容特征图进行通道加权, 并将风格特征图与加权的内容特征图进行堆叠, 进而经卷积操作得到融合后的特征图. 所提网络去雾较为彻底, 复原图像清晰度高, 且无色彩失真现象.

图 1  整体网络结构

图 2  残差块结构

图 3  残差密集块结构

本文提出一种基于内容特征和风格特征相融合的单幅图像去雾方法. 网络结构设计充分考虑了对图像内容特征、风格特征的有效提取和融合, 可有效提高网络模型的精度, 并且在实现去雾的同时能够较好地保持图像的原有色彩. 本文方法不依赖于大气散射模型, 可避免使用不准确的传输图和大气光, 有效解决了现有去雾方法去雾不彻底或因过度去雾导致的颜色失真等问题.

作者简介

杨爱萍

天津大学电气自动化与信息工程学院副教授. 主要研究方向为深度学习, 图像处理和计算机视觉. 本文通信作者. E-mail: yangaiping@tju.edu.cn

刘瑾

天津大学电气自动化与信息工程学院硕士研究生. 主要研究方向为图像去雾和深度学习. E-mail: liujin23@tju.edu.cn

邢金娜

天津大学电气自动化与信息工程学院硕士研究生. 主要研究方向为图像去雾和深度学习. E-mail: xingjinna15@sina.com

李晓晓

天津大学电气自动化与信息工程学院硕士研究生. 主要研究方向为图像去雾和深度学习. E-mail: 17862715985@163.com

何宇清

天津大学电气自动化与信息工程学院讲师. 主要研究方向为信号处理, 图像处理和图像超分辨率重建. E-mail: heyuqing@tju.edu.cn