引用本文

周登文, 赵丽娟, 段然, 柴晓亮. 基于递归残差网络的图像超分辨率重建. 自动化学报, 2019, 45(6): 1157-1165. doi: 10.16383/j.aas.c180334

ZHOU Deng-Wen, ZHAO Li-Juan, DUAN Ran, CHAI Xiao-Liang. Image Super-resolution Based on Recursive Residual Networks. ACTA AUTOMATICA SINICA, 2019, 45(6): 1157-1165. doi: 10.16383/j.aas.c180334

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180334

关键词

递归结构，残差学习，卷积神经网络，深度学习，超分辨率 

摘要

深度卷积神经网络在单图像超分辨率重建方面取得了卓越成就，但其良好表现通常以巨大的参数数量为代价.本文提出一种简洁紧凑型递归残差网络结构，该网络通过局部残差学习减轻训练深层网络的困难，引入递归结构保证增加深度的同时控制模型参数数量，采用可调梯度裁剪方法防止产生梯度消失/梯度爆炸，使用反卷积层在网络末端直接上采样图像到超分辨率输出图像.基准测试表明，本文在重建出同等质量超分辨率图像的前提下，参数数量及计算复杂度分别仅为VDSR方法的1/10和1/（2n*n）.

文章导读

单图像超分辨率(Single image super-resolution, SISR)重建是一种经典的计算机视觉问题, 旨在从一个给定的低分辨率(Low-resolution, LR)图像中恢复高分辨率(High-resolution, HR)图像.由于SISR恢复了高频信息, 因此被广泛应用于需要更多图像细节的领域, 如医疗成像等.

现有超分辨率(Super-resolution, SR)图像重建技术主要分为三大类:基于插值的SR[4]技术, 基于重建的SR[5]技术和基于学习的SR[6-16]技术.目前的SR算法大多基于学习(或基于图像块), 通过学习LR图像和HR图像之间的映射来重建SR图像.作为SISR的先驱卷积神经网络(Convolutional neural network, CNN)[17]模型, 超分辨率卷积神经网络(SRCNN)[6]可以用端到端的方式学习LR/HR间的非线性映射, 其性能显著优于传统的非深度学习(Deep learning, DL)方法.之后, Dong等在文献[7]中又提出加速超分辨率卷积神经网络(FSRCNN), 旨在加速SRCNN.该模型直接从原始LR图像(无插值)学习映射到HR图像, 大大减小了计算复杂度.然而, 以上两种模型均使用浅层网络直接学习原始映射函数, 图像恢复质量不佳. 2016年, Kim等提出了基于CNN的SISR算法---VDSR[8].其网络有20个卷积层, 引入了全局残差学习, 并以较高的学习率训练模型, SISR性能得到较大幅度提升.但其需要在CNN学习之前通过双三次插值对LR图像进行上采样, 计算成本较高, 内存占用较大.

近两年来, SISR方法大多通过加深网络提升性能[9-11].在网络层数加深的同时, 参数数量、内存空间和计算复杂度也随之增加.受计算能力、内存空间和功耗等方面的限制, 这些方法在移动或嵌入式等资源受限的设备中实用价值不大.本文基于VDSR方法, 构建出一种新型递归残差网络结构(RRSR), 旨在不损失图像恢复质量的前提下, 构建结构更紧凑、模型参数更少、计算复杂度更低的网络模型, 提升SISR方法在资源受限的移动或嵌入式等设备上的实用价值.具体来说, 本文方法主要有以下几点贡献:

1) RRSR引入局部残差学习传递更多图像信息.在VDSR中, 残差图像是从网络的输入和输出估计的, 称为全局残差学习.此外, 如视觉识别[18]和图像恢复[19]中观察到的那样, 非常深的网络可能会遇到性能退化问题, 其原因在于图像经过多层传输后, 会丢失大量的细节信息.为解决该问题, RRSR引入局部残差学习的增强型残差块结构, 其恒等分支不仅能够将深层图像细节传送到后层, 还有助于梯度流动.

2) RRSR采用残差块的递归结构减少参数数量. RRSR还将递归结构引入到残差块中, 构成一个递归残差网络, 并且权重集合在这些残差块之间共享, 参数数量大大减少, 模型结构更加紧凑.

3) RRSR通过反卷积操作降低计算复杂度.计算复杂度与输入图像的大小成正比, 本文模型使用原始未插值的LR图像作为输入, 而VDSR则是将插值后的LR图像作为输入, 其大小约为RRSR的n2倍.同时, 我们使用的网络层数更少, 经计算, VDSR的计算复杂度约为RRSR的2n*n倍.

图 1  残差块结构

图 2  网络结构示意图

图 3  RRSR具体网络结构图

本文提出一种在残差块中引入递归结构的新型残差网络, 所采用跳跃连接和递归结构可有效减轻网络携带特征信息的负担, 实现高质量超分辨率图像的重建.与VDSR方法相比, 本文在重建出同等质量超分辨率图像的前提下, 网络结构更紧凑、模型参数更少、计算复杂度更低, 在存储资源和计算能力有限的移动设备上具有潜在实用价值.后续将进一步研究如何使用同一网络生成多尺度超分辨率图像, 以及设计更紧凑的网络结构, 重建更高质量的超分辨率图像.

作者简介

赵丽娟

华北电力大学控制与计算机工程学院硕士研究生.2015年获得邢台学院数学与信息技术学院学士学位.主要研究方向为计算机视觉和深度学习.E-mail:zhaolj97@163.com

段然

华北电力大学控制与计算机工程学院硕士研究生.2016年获得北京理工大学计算机学院学士学位.主要研究方向为计算机视觉和深度学习.E-mail:1162227075@ncepu.edu.cn

柴晓亮

华北电力大学控制与计算机工程学院硕士研究生.2016年获得平顶山学院信息工程学院学士学位.主要研究方向为图像处理和图像超分辨率.E-mail:13051603700@163.com

周登文  

华北电力大学控制与计算机工程学院教授.主要研究方向为图像去噪, 图像去马赛克, 图像插值和图像超分辨率.本文通信作者.E-mail:zdw@ncepu.edu.cn