引用本文

杨爱萍, 李晓晓, 张腾飞, 王朝臣, 王建. 基于误差回传机制的多尺度去雾网络. 自动化学报, 2023, 49(9): 1857−1867 doi: 10.16383/j.aas.c210264

Yang Ai-Ping, Li Xiao-Xiao, Zhang Teng-Fei, Wang Chao-Chen, Wang Jian. Multi-scale dehazing network based on error-backward mechanism. Acta Automatica Sinica, 2023, 49(9): 1857−1867 doi: 10.16383/j.aas.c210264

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210264

关键词

图像去雾，深度学习，多尺度网络，误差回传 

摘要

针对现有图像去雾方法因空间上/下文信息丢失而无法准确估计大尺度目标特征, 导致图像结构被破坏或去雾不彻底等问题, 提出一种基于误差回传机制的多尺度去雾网络. 网络由误差回传多尺度去雾组(Error-backward multi-scale dehazing group, EMDG)、门控融合模块(Gated fusion module, GFM)和优化模块组成. 其中误差回传多尺度去雾组包括误差回传模块(Error-backward block, EB)和雾霾感知单元(Haze aware unit, HAU). 误差回传模块度量相邻尺度网络特征图之间的差异, 并将生成的差值图回传至上一尺度, 实现对结构信息和上/下文信息的有效复用; 雾霾感知单元是各尺度子网络的核心, 其由残差密集块(Residual dense block, RDB)和雾浓度自适应检测块(Haze density adaptive detection block, HDADB)组成, 可充分提取局部信息并能够根据雾浓度实现自适应去雾. 不同于已有融合方法直接堆叠各尺度特征, 提出的门控融合模块逐像素学习每个子网络特征图对应的最优权重, 有效避免了干扰信息对图像结构和细节信息的破坏. 再经优化模块, 可得到最终的无雾图像. 在合成数据集和真实数据集上的大量实验表明, 该方法优于目前的主流去雾方法, 尤其是对远景雾气去除效果更佳.

文章导读

在雾天采集到的图像会出现对比度降低、颜色退化、细节丢失等问题, 严重影响目标检测、自动驾驶、视频监控和遥感等户外计算机视觉系统的性能. 因此, 雾天图像复原具有重要的研究意义.

随着图像去雾方法不断发展, 可将现有方法分为基于图像增强的方法、基于图像复原的方法和基于深度学习的方法. 基于图像增强的去雾方法不考虑雾天图像退化机理, 仅仅是从空域或频域对图像进行处理, 来增强图像的对比度或对图像进行颜色校正. 常见方法有直方图均衡化[1]、Retinex算法[2]、同态滤波[3]算法等. 以上方法均未考虑图像退化原因, 直接对有雾图进行处理, 会出现颜色失真、去雾不彻底等问题.

基于图像复原的方法以大气散射模型为基础, 把图像去雾转化为估计模型参数. He等[4]提出暗通道先验理论, 能实现简单、快速去雾; Tarel等[5]借助中值滤波估计透射率, 并通过大气散射模型得到去雾图像. Zhu等[6]提出颜色衰减先验理论, 学习线性函数来预测有雾图像的深度. Berman等[7]提出一种非局部先验去雾方法. 张小刚等[8]结合双区域滤波和图像融合提出一种去雾算法, 可有效减少晕轮效应. 汪云飞等[9]借助超像素分割提高了透射率估计精度. 该类方法虽然取得了一定的效果, 但在先验假设不成立的情况下, 难以准确恢复无雾图像.

基于深度学习的方法通过在大规模数据集上训练卷积神经网络(Convolutional neural networks, CNN)来估计无雾图像. Cai等[10]和Ren等[11]构建CNN估计透射率, 并代入成像模型得到复原图像. 但其将大气光设置为全局常量, 去雾后的图像易出现伪影和颜色失真等问题. Zhang等[12]构建一种密集连接金字塔网络, 可同时估计透射率和大气光值. Li等[13]将透射率和大气光组合为一个变量K, 构建一种轻量级网络AODNet估计K. 上述方法均基于物理模型构建CNN估计变量, 这在一定程度上会限制网络的学习能力. Chen等[14]在引入平滑扩张卷积的基础上, 提出了一种端到端的门控上/下文聚合网络, 可融合不同层次的特征. Liu等[15]构建了一种基于注意力机制的多尺度网格网络, 该网络采用并行多尺度机制, 解决了串行多尺度网络中普遍存在的误差传递问题, 但该网络忽略了非相邻尺度之间的联系. Dong等[16]基于大气散射模型设计了一种特征去雾单元, 但物理模型的限制仍会在一定程度上削弱网络的学习能力. Yang等[17]通过聚合多尺度特征图来重建无雾图像, 但该网络结构较简单且需对原图进行多次下采样, 易造成图像细节丢失. 此类端到端方法可以不受物理模型的限制, 直接学习有雾−无雾图像之间的映射关系, 但仍存在感受野有限、结构信息丢失等问题, 网络聚合不同尺度特征信息的能力有待加强.

为了增大网络感受野以充分提取图像空间上/下文信息, 进而实现对目标图像更精准的预测, 多尺度端到端网络得到了广泛应用. 但现有多尺度去雾网络往往忽略了子网络感受野大小不同导致的特征信息差异, 直接将低分辨率特征与高分辨率特征进行融合. Liu等[15]采用一种注意力机制, 将各级子网络特征图由低分辨率子网络向高分辨率子网络进行逐级相加. Deng等[18]将相邻子网络生成的特征图直接相加, 再输入到基础模块进行融合. 可以发现, 该类方法直接合并各级特征图后, 小尺度网络提取到的信息在融合特征中的占比减小, 削弱了小尺度网络感受野较大的优势, 造成图像结构信息丢失, 无法准确识别较大特征目标, 出现去雾不彻底和颜色失真现象.

基于此, 本文提出一种基于误差回传机制的多尺度去雾网络. 首先, 为了提高网络识别大尺度特征目标的准确性, 设计误差回传模块(Error-backward block, EB)生成包含丰富结构信息和上/下文信息的误差图, 并用其指导大尺度子网络训练, 增大结构信息在合并特征中的占比. 现有直接融合策略和本文基于误差回传策略的多尺度网络结构如图1所示. 可以看出, 误差回传模块通过生成误差图, 实现各子网络之间的交互. 同时, 考虑到真实有雾图像雾气分布不均匀等特点, 本文设计一种雾霾感知单元(Haze aware unit, HAU), 将密集残差块与雾浓度自适应检测块(Haze density adaptive detection block, HDADB)相结合, 可识别浓雾区域和薄雾区域并据此调整去雾强度, 实现自适应去雾. 另外, 为了灵活高效复用各子网络特征, 使用门控融合模块(Gated fusion module, GFM)抑制噪声干扰, 这也是首次尝试将门控网络用于多尺度去雾特征图融合.

图 1  直接融合策略和误差回传策略示意图

图 2  基于误差回传机制的多尺度去雾网络

图 3  误差回传模块结构

本文提出一种基于误差回传机制的多尺度去雾网络, 该网络通过构造误差回传模块, 补充高分辨率特征图缺失的结构信息和上/下文信息, 同时设计雾霾感知单元, 实现针对雾浓度的自适应去雾, 并使用门控融合模块, 以避免干扰信息对图像结构和细节的破坏, 再经优化模块, 得到最终复原图像. 在合成有雾图像和真实有雾图像上的大量实验结果表明, 本文方法恢复的图像更接近清晰图像, 解决了现有去雾方法易产生颜色失真和远景去雾不彻底的问题.

作者简介

杨爱萍

天津大学电气自动化与信息工程学院副教授. 主要研究方向为深度学习, 图像处理和计算机视觉. 本文通信作者. E-mail: yangaiping@tju.edu.cn

李晓晓

天津大学电气自动化与信息工程学院硕士研究生. 主要研究方向为图像去雾, 深度学习. E-mail: leexx@tju.edu.cn

张腾飞

天津大学电气自动化与信息工程学院硕士研究生. 主要研究方向为图像风格转换, 深度学习. E-mail: ztf951@gmail.com

王朝臣

天津大学电气自动化与信息工程学院硕士研究生. 主要研究方向为图像去雨, 深度学习. E-mail: chen2019@tju.edu.cn

王建

天津大学电气自动化与信息工程学院讲师. 主要研究方向为计算机视觉, 认知计算. E-mail: jianwang@tju.edu.cn