引用本文

王云涛, 赵蔺, 刘李漫, 陶文兵. 基于组−信息蒸馏残差网络的轻量级图像超分辨率重建. 自动化学报, 2024, 50(10): 2063−2078 doi: 10.16383/j.aas.c211089

Wang Yun-Tao, Zhao Lin, Liu Li-Man, Tao Wen-Bing. G-IDRN: A group-information distillation residual network for lightweight image super-resolution. Acta Automatica Sinica, 2024, 50(10): 2063−2078 doi: 10.16383/j.aas.c211089

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c211089

关键词

残差网络，超分辨率，特征蒸馏，高频损失 

摘要

目前, 基于深度学习的超分辨算法已经取得了很好性能, 但这些方法通常具有较大内存消耗和较高计算复杂度, 很难应用到低算力或便携式设备上. 为了解决这个问题, 设计一种轻量级的组−信息蒸馏残差网络(Group-information distillation residual network, G-IDRN)用于快速且精确的单图像超分辨率任务. 具体地, 提出一个更加有效的组−信息蒸馏模块(Group-information distillation block, G-IDB)作为网络特征提取基本块. 同时, 引入密集快捷连接, 对多个基本块进行组合, 构建组−信息蒸馏残差组(Group-information distillation residual group, G-IDRG), 捕获多层级信息和有效重利用特征. 另外, 还提出一个轻量的非对称残差Non-local模块, 对长距离依赖关系进行建模, 进一步提升超分性能. 最后, 设计一个高频损失函数, 去解决像素损失带来图像细节平滑的问题. 大量实验结果表明, 该算法相较于其他先进方法, 可以在图像超分辨率性能和模型复杂度之间取得更好平衡, 其在公开测试数据集B100上, 4倍超分速率达到56 FPS, 比残差注意力网络快15倍.

文章导读

单图像超分辨率或称超分 (Single image super-resolution, SISR或SR) 技术旨在从低分辨率 (Low-resolution, LR) 图像中重建出它的高分辨率 (High-resolution, HR) 图像. 它在真实场景中具有广泛的应用, 如医学成像[1]、视频监控[2]、高清显示和成像[3]、图像压缩[4]、卫星遥感成像[5]等. 然而, 数字设备在收集图像过程中, 常受到拍摄物周围环境、相机硬件和人为因素影响, 导致捕获到的图像不清晰, 这严重影响后续视觉任务性能. 因此, 针对如何从低分辨率图像复原出可靠的高清图像进行深入研究(即对图像超分辨率技术的研究)具有重要意义. 

通常, 由于一张LR图像可以对应多张HR图像, 因此, 超分辨率本质上是一个非适定性问题. 为了解决这个问题, 有许多超分辨率方法被提出, 包括早期的传统方法[6-8]和最近的基于学习的方法[9-13]. 传统方法包括基于插值方法和基于模型方法2种. 基于插值方式(如双线性插值和双三次插值)[7]操作简单、有效, 但应用场景范围和超分辨率效果都有限. 基于模型方法(如文献[14]和文献[8])分别利用稀疏先验信息和自相似先验信息进行图像超分辨率重建, 但这些方法极依赖先验信息, 且处理优化过程非常耗时. 

最近, 研究者们提出基于卷积神经网络的方法来解决图像SR问题. 超分辨率卷积神经网络(Super-resolution convolutional neural network, SRCNN)[15]首次将深度学习用于图像超分辨率, 提出一个3层网络学习从LR图像到HR图像的映射. 但是, SRCNN在图像块输入前, 使用双三次插值方式放大到目标尺寸, 这种前上采样方式会引入额外的参数量和计算量代价. Dong等[16]提出后上采样方式的快速SR卷积神经网络(Fast super-resolution convolutional neural network, FSRCNN), 即在网络最后一层使用上采样放大到目标尺寸, 因此, 可以直接将低分辨率图像输入到网络中, 在节省参数量和计算量的同时, 保证了图像超分辨率效果. 之后, 一些SR方法主要集中在设计更深或更宽的模型, 以进一步提高SR的性能, 例如更深的SR网络(Very deep super-resolution network, VDSR)[17]、深度递归卷积网络(Deeply-recursive convolutional network, DRCN)[18]、增强深度SR网络(Enhanced deep super-resolution network, ED-SR)[19]和残差通道注意力网络(Residual channel attention network, RCAN)[20]. 尽管这些方法取得了令人满意的结果, 但是通过增大网络深度提升图像超分辨率性能会增大网络计算成本, 不适用于诸如手机和相机等便携式设备. 

为了减少计算成本或内存消耗, 研究者提出级联残差网络(Cascading residual network, CA-RN)[21], 它是一种级联网络体系结构, 但该方法获得的超分性能较差. 信息蒸馏网络(Information distillation network, IDN)[22]将当前信息与局部信息进行融合. 随后, 信息多蒸馏网络(Information multi-distillation network, IMDN)[11]设计一个信息多蒸馏模块, 以进一步提高IDN的性能. 残差特征蒸馏网络(Residual feature distillation network, RFDN)[12]在IMDN基础上提出一种更轻便、更灵活的残差蒸馏网络. 但是这些方法不够轻量, 并且图像SR性能仍可以进一步提高. 为了构建更快、更轻量SR模型, 本文改进了RFDN中残差特征蒸馏模块(Residual feature distillation block, RFDB), 借助组卷积在降低模型复杂度方面的优势, 提出一种新颖的组−信息蒸馏模块(Group-information distillation block, G-IDB). 结合密集快捷(Dense shortcut, DS)[23]连接方式, 构建一个轻量级的组−信息蒸馏残差组(Group-information distillation residual group, G-IDRG), 通过DS连接对学习到的多层级特征进行重利用. 考虑到图像超分辨率是图到图的转换, 图像中存在大量重复或相似的模式, 对这种相似性关系进行关注能够进一步提高SR的性能, 因此本文借鉴非对称Non-local模块(Asymmetric non-local block, ANB)[

图 1  Urban100中图像放大2倍时, 参数量和峰值信噪比的对比结果

在图像SR任务中, 通常使用平均绝对误差(L1损失)和均方误差(L2损失)来衡量超分辨率图像和真实HR图像之间在像素上的差异. 但仅使用逐像素损失将导致超分辨率图像经常缺少高频细节, 如图2所示. 因此, 本文提出一种简单而有效的高频损失, 以缓解超分辨率图像过度平滑问题. 如图2(a) ~ 图2(c)所示, 使用逐像素损失方法生成的SR图像纹理过于平滑, 而使用本文基于高频损失方法在视觉上获得了令人满意的结果, 如图2(d)所示. 具体地, 本文首先使用高斯滤波器从真实HR图像和预测的SR图像中提取高频信息, 然后采用两者之间的平均绝对误差作为高频损失, 使得网络更加关注细节纹理区域. 

图 2  Urban100中Img024放大4倍时, 不同SR方法的重建结果

本文针对单图像的轻量级超分辨率展开研究, 主要贡献如下: 

1)提出一种轻量级的组−信息特征残差组, 可以更好地利用多层级特征信息, 重建图像的高频细节信息. 

2)提出一种轻量级非对称残差Non-local模块来捕获全局上下文信息, 进一步提高了SISR的性能. 

3)设计一个简单而有效的高频损失函数, 来缓解超分辨率图像的过度光滑问题. 在多个基准数据集上实验表明了该方法在SISR任务中的优越性和有效性. 

本文结构如下: 第1节对相关工作进行介绍; 第2节对本文方法进行细致描述; 第3节进行大量消融实验, 对实验结果进行定量和定性对比和分析; 第4节对全文进行总结. 

图 3  组−信息蒸馏残差网络整体架构

本文提出一种新型的轻量级组−信息蒸馏残差网络, 用于快速、准确地提取图像的深度特征. 在RFDB基础上, 在保证其性能的前提下, 提出更轻量的G-IDB, 从低分辨率图像中提取特征. 基于DS连接, G-IDRG可以有效地重利用浅层特征, 有效捕获多尺度信息. 此外, 引入一个轻量级的非对称残差Non-local模块捕获全局上下文信息. 特别地, 为缓解像素损失造成的平滑图像细节问题, 设计一个简单但有效的高频损失, 来帮助优化所提模型. 实验结果表明, 与其他先进图像SR方法相比, G-IDRN在图像SR性能和模型复杂度之间, 取得了更好的平衡. 

作者简介

王云涛

中南民族大学生物医学工程学院硕士研究生. 主要研究方向为图像处理, 深度学习和图像超分辨率. E-mail: ytao-wang@scuec.edu.cn

赵蔺

华中科技大学人工智能与自动化学院博士研究生. 主要研究方向为图像识别, 图像超分辨率和点云实例语义分割. E-mail: linzhao@hust.edu.cn

刘李漫

中南民族大学生物医学工程学院副教授. 主要研究方向为图像处理, 深度学习和计算机视觉. 本文通信作者. E-mail: limanliu@mail.scuec.edu.cn

陶文兵

华中科技大学人工智能与自动化学院教授. 主要研究方向为图像分割, 目标识别和3D重建. E-mail: wenbingtao@hust.edu.cn