引用本文

李金新, 黄志勇, 李文斌, 周登文. 基于多层次特征融合的图像超分辨率重建. 自动化学报, 2023, 49(1): 161−171 doi: 10.16383/j.aas.c200585

Li Jin-Xin, Huang Zhi-Yong, Li Wen-Bin, Zhou Deng-Wen. Image super-resolution based on multi-hierarchical features fusion network. Acta Automatica Sinica, 2023, 49(1): 161−171 doi: 10.16383/j.aas.c200585

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200585

关键词

残差学习，层次特征信息，超分辨率，卷积神经网络 

摘要

深度卷积神经网络显著改进了单图像超分辨率的性能. 更深的网络往往能获得更好的性能. 但是, 加深网络会导致参数量急剧增加, 限制了它在资源受限设备上的应用, 比如智能手机. 提出了一个融合多层次特征的轻量级单图像超分辨率网络, 主要构件是双层嵌套残差块. 为了更好地提取特征, 减少参数量, 每个残差块采用对称结构: 先两次扩张, 然后两次压缩通道数. 在残差块中, 通过添加自相关权重单元, 加权融合不同通道的特征信息. 实验证明, 该方法显著优于当前同类方法.

文章导读

单图像超分辨率(Single image super-resolution, SISR)技术旨在将一幅低分辨率(Low-resolution, LR)图像重建其对应的高分辨率(High-resolution, HR) 图像. SISR被广泛应用于医学成像[1]、遥感[2]和安防[3]等领域. 超分辨率重建是一个病态的逆问题: 一个LR图像可与多个(High-resolution, HR)图像对应, 恢复细节逼真、丰富的HR图像非常困难. 超分辨率成像是计算机视觉领域的热点问题之一, 深度学习技术已主导了当前SISR 方法的研究[4-13].

基于深度学习的SISR方法直接端到端地学习LR图像与HR图像之间的映射关系. Dong等[7]第一个提出基于卷积神经网络[14]的SISR方法, 称为SRCNN. SRCNN仅使用了三个卷积层, 以端到端的形式直接学习LR和HR图像间的非线性映射. Kim等[15]基于残差学习[16], 提出网络更深的SISR方法(Very deep convolutional networks for super-resolution, VDSR), 改进了性能. 为了能够增加网络深度, 又限制网络参数的增加, Kim等[8]采用共享参数的递归结构, 提出了Deeply-recursive convolu-tional Network (DRCN)方法. Tai等[9]提出的Deep recursive residual network (DRRN), 同时利用了局部残差结构、全局残差结构和递归结构. 残差单元之间参数共享, 改进了VDSR和DRCN的性能. Li等[17]提出的Super-resolution feedback network (SRFBN-S)方法, 使用循环神经网络结构, 共享隐藏层参数, 降低参数量的同时提升了重建图像质量. Hui等[18]提出Information multi-distillation network (IMDN)方法, 在残差块内逐步提取特征信息, 利用通道注意力机制进行特征选择, 进一步提高了重建图像质量. Ahn等[10]提出了基于级联残差网络的SISR方法(Cascading residual network, CARN), 结合级联结构与残差学习, 取得了更好的参数量和性能之间的平衡. Zhu等[19]提出Compact back-projection network (CBPN)方法, 通过级联上/下采样层, 在LR和HR空间中提取特征信息, 增强了重建能力. Li 等[11]提出的Multi-scale residual network (MSRN)方法, 残差块内运用不同感受野的卷积层, 提取不同尺度的特征信息, 进一步改进了性能. Lai等[20]提出了拉普拉斯金字塔网络结构的SISR方法(Laplacian pyramid super-resolution network, LapSRN), 逐步上采样与预测残差, 可同时完成多个尺寸的HR图像重建.

以上方法使用了轻量级网络, 但网络深度和参数量是影响SISR性能的重要因素[12]. Lim等[12] 提出了一个重量级的Enhanced deep super-resolution network (EDSR)方法, 去除了规范化层, 叠加残差块, 超过65个卷积层, 获得了2017年超分辨率比赛冠军[21]. Zhang等[13]提出的Residual dense network (RDN)方法, 结合残差结构和稠密结构, 并充分利用LR图像的层次特征信息, 能够恢复出高质量的HR图像. Liu等[22]提出Residual featu-re aggregation net work (RFANet)方法, 在残差块中使用感受野更大, 参数量更小的空间注意力模块, 筛选特征信息, 并将每个残差块的残差支路提取的特征进行融合, 提高了图像重建质量. EDSR、RDN和RFANet等方法是当前有代表性的重量级网络SISR 方法, 性能好, 参数量也都较大(分别为43 MB、22 MB和11 MB).

在资源受限的情况下, 重量级SISR模型难以满足应用需求, 本文考虑轻量级SISR模型, 提供潜在的解决方法.

本文提出一个新的、轻量级多层次特征融合网络的SISR方法(Multi-hierarchical features fusion network, MHFN). 当放大因子为4倍时, MHFN参数量仅为1.47 MB, 是当前尖端方法EDSR的1/29, RDN的1/14, RFANet的1/7. 对比同类轻量级SISR模型, 本文的MHFN方法, 在性能和模型规模上取得了更好的平衡. 以最有代表性的MSRN方法为例, 本文的MHFN参数减少了3/4, 在测试集上2倍、3倍和4倍放大, 客观性能相当, 而8倍放大, 一致优于MSRN方法. 对于4倍和8倍放大, 主观性能也一致优于MSRN方法. 实验结果表明, MHFN方法重建条纹的能力显著优于其他轻量级方法, 对于8倍大尺度放大因子, 重建图像结果优势更明显. 本文贡献包括: 1)提出了一种对称结构的双层嵌套残差块(Dual residual block, DRB). 残差块内先两次扩张, 然后两次压缩特征通道, 并使用两层残差连接以有效地提取特征信息; 2)提出了一种自相关权重单元(Autocorrelation weight unit, ACW). ACW可根据特征信息计算权值, 自适应地加权不同的特征通道, 以有效地传递特征信息; 3)设计了一种浅层特征映射单元(Shall-ow feature mapping unit, SFMU). SFMU通过每条支路上的不同感受野的卷积层, 提取不同层次的浅层特征信息; 4)设计了一种多路重建单元(Multi-path reconstruction unit, MPRU). MPRU可获取多条支路的特征信息, 以充分地利用不同层次的特征信息重建图像不同方面.

图 1  本文多层次特征融合网络结构与残差组结构((a) 多层次特征融合网络结构图; (b) 残差组结构图)

图 2  不同的残差块结构图

图 3  自相关权重单元结构图

本文提出一种轻量级的多层次特征融合网络(MHFN), 用于重建高质量的超分辨图像. 本文设计了双层嵌套残差块(DRB)用于提取图像特征信息, 其特征通道数目先扩张后压缩, 并且使用不同感受野的卷积层, 降低参数量. 为了使双层嵌套残差块有效传递特征信息, 本文设计了自相关权重单元(ACW), 通过计算特征信息生成权重信息, 再利用权重信息对特征信息进行加权处理, 保证高权重的特征信息被有效传递. 本文将双层嵌套残差块组成残差组, 用于提取深层的层次特征信息, 并构建浅层特征映射单元(SFMU)提取多尺度、多层次的浅层特征信息. 多路重建单元(MPRU)将深层的层次特征信息与浅层特征信息融合重建为高质量超分辨率图像. 实验结果表明, 上述模块设计有助于重建高质量图像, 并且本文的模型可以有效增强图像条纹, 重建高质量超分辨图像. 与其他轻量级模型相比, 本文模型在性能与模型规模方面上获得了更好的平衡.

作者简介

李金新

华北电力大学控制与计算机工程学院硕士研究生. 2018年获河北建筑工程学院学士学位. 主要研究方向为计算机视觉和深度学习. E-mail: 1182227091@ncepu.edu.cn

黄志勇

华北电力大学控制与计算机工程学院硕士研究生. 2018年获华北电力大学学士学位. 主要研究方向为计算机视觉和深度学习. E-mail: 1182227193@ncepu.edu.cn

李文斌

华北电力大学控制与计算机工程学院硕士研究生. 2017年获上海电力学院学士学位. 主要研究方向为计算机视觉和深度学习. E-mail: 1182227108@ncepu.edu.cn

周登文

华北电力大学控制与计算机工程学院教授. 主要研究方向为神经网络在图像处理中的应用. 本文通信作者. E-mail: zdw@ncepu.edu.cn