引用本文

李佳星, 赵勇先, 王京华. 基于深度学习的单幅图像超分辨率重建算法综述. 自动化学报, 2021, 47(10): 2341−2363 doi: 10.16383/j.aas.c190859

Li Jia-Xing, Zhao Yong-Xian, Wang Jing-Hua. A review of single image super-resolution reconstruction algorithms based on deep learning. Acta Automatica Sinica, 2021, 47(10): 2341−2363 doi: 10.16383/j.aas.c190859

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190859

关键词

单幅图像超分辨率，计算机视觉，深度学习，神经网络 

摘要

单幅图像超分辨率(Single image super-resolution, SISR)重建是计算机视觉领域上的一个重要问题, 在安防视频监控、飞机航拍以及卫星遥感等方面具有重要的研究意义和应用价值. 近年来, 深度学习在图像分类、检测、识别等诸多领域中取得了突破性进展, 也推动着图像超分辨率重建技术的发展. 本文首先介绍单幅图像超分辨率重建的常用公共图像数据集; 然后, 重点阐述基于深度学习的单幅图像超分辨率重建方向的创新与进展; 最后, 讨论了单幅图像超分辨率重建方向上存在的困难和挑战, 并对未来的发展趋势进行了思考与展望.

文章导读

单幅图像超分辨率(Single image super-resolution, SISR)重建是根据一张低分辨率(Low resolution, LR)图像恢复出高分辨率(High resolution, HR)图像的过程, 研究超分辨率的学者将图像重建成×2、×3、×4、×8这4种尺度的较多, 其中×2代表将图像的边长放大2倍, 即像素密度增加4倍, ×3、×4和×8与其同理. 如何保证重建后图像的质量更接近Ground truth图像成为了研究热点, 其目标如下:

其中, x为LR图像, y为对应的Ground truth图像,Fsr(x)为运用某种算法重建后的HR图像, λ为平衡参数, Φ(y)为正则化项.

超分辨率重建在卫星、遥感、天文学、安防、生物医学等诸多领域以及恢复珍贵的历史图像资料上起到了非常重要的作用. 目前在计算机视觉上单幅图像超分辨率已经成为一个专门的学术问题, 吸引了国内外众多学者的关注与研究.

在深度学习未兴起前, 经典的单幅图像超分辨率算法占据主导地位, Lanczos重采样[1]和双三次插值[2]得到了广泛的应用, 但采用插值方法有时会导致图像边缘和细节模糊, 因此其他传统算法也被相继提出[3-5], 有效地增强了图像的质量. 经典的超分辨率重建算法需要很多先验知识, 且要求研究者具有深厚的专业知识储备. 随着深度学习的兴起, 由于该技术不需要过多的先验知识, 且重建后的图像质量优于传统算法, 因此得到了广泛的关注. Dong等[6]首先将卷积神经网络应用到图像超分辨率重建技术中, 提出了超分辨率重建卷积神经网络(Super-resolution convolutional neural network, SRCNN), 图1为SRCNN的模型框架图, 虽然只有三层神经网络, 但相比于经典超分辨率算法, 取得了显著的效果. SRCNN的出现, 吸引了国内外学者将神经网络的各种变体应用到图像超分辨率研究中, 包括卷积神经网络[7]、对抗神经网络[8]以及二者的结合[9]等.

图 1  SRCNN网络结构

本文从超分辨率图像数据集、基于深度学习的单幅图像超分辨率重建的研究进展、图像质量评估准则、实验结果与分析以及存在的问题与挑战出发, 对单幅图像超分辨率重建进行了全面综述, 系统的回顾了单幅图像超分辨率重建技术的发展.

图 3  FSRCNN网络结构与SRCNN网络结构的对比

图 4  FSRCNN网络卷积层与反卷积层的具体结构

超分辨率重建在计算机视觉领域具有重要的研究意义和应用价值, 本文首先介绍单幅图像超分辨率重建的常用公共图像数据集; 然后, 重点阐述基于深度学习的单幅图像超分辨率重建方向的创新与进展; 最后, 讨论了单幅图像超分辨率重建方向上存在的困难和挑战, 并对未来的发展趋势进行了思考与展望. 总体而言, 深度学习为解决单幅图像超分辨率重建问题上提供了新的技术, 取得了较为显著的成果, 但将其应用到现实场景中仍存在很多问题, 如现实生活中得到的低分辨率图像并不是从高分辨率图像双三次下采样得到的, 而许多基于深度学习的超分辨率模型训练时都是将双三次下采样得到的低分辨率图像作为输入, 测试时若将现实生活中的低分辨率图像作为输入, 重建的效果往往不是很好等等诸多问题. 说明目前深度学习技术还不够成熟, 有很大的上升空间, 但其前景可期, 且图像超分辨率重建技术具有很大的实用价值, 因此基于深度学习的单幅图像超分辨率重建依然是一个亟待研究的重点方向.

作者简介

李佳星

长春理工大学机电工程学院硕士研究生. 主要研究方向为计算机视觉, 深度学习, 单幅图像超分辨率重建. E-mail: jiaxing4912@163.com

赵勇先

中国科学院大学机械电子工程专业硕士研究生. 2020年获得长春理工大学学士学位. 主要研究生方向为计算机视觉和深度学习. E-mail: zyx_19980824@163.com

王京华

长春理工大学机电工程学院讲师. 2010年获得哈尔滨工业大学博士学位. 主要研究方向为移动机器人, 无人系统, 智能控制. 本文通信作者. E-mail: hit1920s@163.com