引用本文

周圆, 王明非, 杜晓婷, 陈艳芳. 基于层次特征复用的视频超分辨率重建. 自动化学报, 2024, 50(9): 1736−1746 doi: 10.16383/j.aas.c210095

Zhou Yuan, Wang Ming-Fei, Du Xiao-Ting, Chen Yan-Fang. Video super-resolution via hierarchical feature reuse. Acta Automatica Sinica, 2024, 50(9): 1736−1746 doi: 10.16383/j.aas.c210095

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210095

关键词

层次特征复用，卷积神经网络，特征融合，视频超分辨率重建 

摘要

当前的深度卷积神经网络方法, 在视频超分辨率任务上实现的性能提升相对于图像超分辨率任务略低, 部分原因是它们对层次结构特征中的某些关键帧间信息的利用不够充分. 为此, 提出一个称作层次特征复用网络(Hierarchical feature reuse network, HFRNet)的结构, 用以解决上述问题. 该网络保留运动补偿帧的低频内容, 并采用密集层次特征块(Dense hierarchical feature block, DHFB)自适应地融合其内部每个残差块的特征, 之后用长距离特征复用融合多个DHFB间的特征, 从而促进高频细节信息的恢复. 实验结果表明, 提出的方法在定量和定性指标上均优于当前的方法.

文章导读

视频超分辨率重建(Super-resolution, SR)旨在从低分辨率视频帧(Low resolution frames, LR)中恢复出对应的高分辨率视频帧(High resolution frames, HR), 并广泛用于各种任务. 然而, 视频帧间的时空信息复杂性是视频超分辨率重建任务所面临的一个严峻挑战. 

视频超分辨率重建任务有以下几大类方法: 传统的基于重建的方法、基于示例的方法和基于深度学习的方法. 

传统的基于重建的视频超分辨率方法使用贝叶斯模型对病态的超分辨率问题进行正则化[1]. 然而, 这些基于重建的方法虽然可以在一定程度上保证性能, 但在较大倍数的超分辨率重建和较大尺度运动的场景下表现欠佳. 基于示例的视频超分辨率重建方法可以利用视频帧之间的自相似性完成重建[2-3]. 然而, 基于示例的方法使用许多重叠的图像小块, 会占用相当多的存储与计算资源. 基于深度学习的方法通过卷积神经网络(Convalutional neural network, CNN)学习视频帧细节特征来重建高分辨率的视频, 取得了比传统方法更好的结果. 在这些深度学习方法中, 其中一些方法直接以低分辨率视频帧作为网络输入[4-5]; 而另一些深度学习方法是先对视频帧进行运动补偿, 然后再将运动补偿的结果作为网络输入[6-7]. 随着网络深度的增加, 其中的每个卷积层能提取具有不同层级的特征. 然而, 这些深度学习方法的卷积神经网络多是简单堆叠而成, 忽略了在重建过程中对来自不同层次的深层网络特征进行充分的整合利用. 

为解决视频超分辨率重建过程中层次特征利用不充分的问题, 本文提出用于视频超分辨率重建的层次特征复用网络(Hierarchical feature reuse network, HFRNet). 它通过运动补偿的预处理方法对齐多个视频帧的光流, 并充分利用深度神经网络中来自不同层的特征. 本文采用密集层次特征块(Dense hierarchical feature block, DHFB)作为网络的基本构建模块, 其内部包含几个残差块和短距离特征复用. DHFB通过自适应地保留内部残差块的信息来提取、融合短距离密集特征. 在使用多个DHFB提取多个短期密集特征后, 本文使用长距离特征复用自适应融合所有DHFB的特征. 同时, 为探究DHFB间不同特征复用方式的影响, 本文提出两种网络结构. 广泛的实验证明HFRNet优于许多视频超分辨率重建算法. 

图 1  层次特征复用网络(HFRNet)的结构

图 2  DHFB的详细结构

本文提出一种用于视频超分辨率重建的层次特征复用网络(HFRNet). 在利用来自原始低分辨率帧的帧间信息的基础上, 本文使用由密集层次特征块(DHFB)构成的神经网络来提取并融合层次化的特征. 在一个密集层次特征块内, 短距离特征复用可以自适应地学习融合每个残差块提取的层次特征. 在多个密集层次特征块之间, 长距离特征复用能够自适应地控制所有密集层次特征块中保留的信息, 并使深层网络的训练过程更加稳定. 此外, 本文提出两种网络结构, 以探讨密集层次特征块间的不同特征复用方式对结果的影响. 通过短距离和长距离特征复用, 层次特征复用网络具有很强的特征提取和表达能力. 实验结果表明, 本文的方法在客观指标和主观结果方面, 相比之前其他视频超分辨率重建方法有所提升. 

作者简介

周圆

天津大学电气自动化与信息工程学院副教授. 主要研究方向为计算机视觉与图像/视频通信. 本文通信作者. E-mail: zhouyuan@tju.edu.cn

王明非

天津大学电气自动化与信息工程学院硕士研究生. 主要研究方向为计算机视觉与机器学习. E-mail: wmf997@126.com

杜晓婷

天津大学电气自动化与信息工程学院硕士研究生. 主要研究方向为计算机视觉与机器学习. E-mail: 18225511181@163.com

陈艳芳

天津大学电气自动化与信息工程学院博士研究生. 主要研究方向为计算机视觉与机器学习. E-mail: chyf@tju.edu.cn