图像分辨率是衡量图像质量的一项重要指标。高分辨率图像拥有更高的像素密度，更多的细节信息，不但能大大提高人们的视觉体验，还能对其包含的信息进一步挖掘和利用。然而，图像的分辨率通常受到以下因素的限制：

1) 由于信号传输带宽及成像传感器等的限制, 成像设备获取到的图像通常具有较低的分辨率；

2) 成像系统会受到噪声、模糊等干扰，获取的图像质量下降，分辨率受损；

3) 成像设备精度的提高，图像尺寸的缩小，单位面积内像素数量的增加，都受到了当前制造水平的制约，从硬件上提高其分辨率较为困难，且耗时较长， 成本极高。

采用图像超分辨率重构技术提高图像分辨率具有成本低、周期短等优点，因此成为图像领域的一个研究热点。深度学习在图像领域的发展过程中具有重要作用。随着神经网络在图像分类领域的发展，图像超分辨率重构方法也受经典的神经网络模型启发并取得了重大进步。基于深度学习的图像超分辨率算法已成为单幅图片超分辨率重构主流算法，也是未来图像超分辨率技术发展的必然趋势。

首先，综述介绍了一系列基于各种深度学习模型的图像超分辨率重构算法，主要包括卷积神经网络、残差网络、生成对抗网络及这些网络的混合模型，分析这些模型在网络结构、输入信息、损失函数、放大因子以及评价指标等方面的差异，并给出他们的实验结果。

根据本文给出的超分辨率重构网络模型分析可知, 当前基于深度学习的单幅图片超分辨率重构方法发展趋势包含以下五个方面：

1) 追求好的重构效果；

2) 追求丰富明显的细节；

3) 追求轻量化网络；

4) 追求较高的放大倍数；

5) 追求任意放大倍数。

同时叙述了基于深度学习的单幅图片超分辨率重构方法存在的关键问题：

1) 网络结构设计问题；

2) 网络训练及优化问题；

3) 损失函数与评价指标的选取；

4) 图像超分辨率重构的应用。

基于深度学习的图像超分辨率重构技术是当前单幅图片超分辨率重构的主流技术，无论是在重构速度还是重构效果上均优于传统方法。然而，基于深度学习的单幅图片超分辨率重构也存在亟待解决的问题。首先, 深度学习的理论普遍具有不可解释性，对于网络的设计与调参往往需要有相关领域知识的人凭借经验来控制，这大大限制了它的发展空间。如何从基础理论上将网络的运行机制、原理解释清楚，提出明确的理论指导，是基于深度学习的超分辨率重构技术乃至整个深度学习技术面临的问题。其次，深度学习的网络模型通常缺乏一定的灵活性，一旦图像的降质过程存在差异，同一训练模型得到的重构效果就会受到影响。如何将当前对于超分辨率重构技术的研究应到实际问题中，增强网络模型的泛化能力，是基于深度学习的图像超分辨率重构需要解决的问题之一。最后，无论是传统方法还是基于深度学习的方法，对于较大的尺度放大因子 (如×8)，重构的效果都不是特别理想，如何在高倍数放大因子的重构中取得良好的重构效果也是基于深度学习的图像超分辨率重构技术面临的挑战之一。

总之，深度学习在单幅图片超分辨率重构领域已展现了巨大的潜力，但是仍存在许多没有完善的解决方案的问题。

引用格式

张宁, 王永成, 张欣, 徐东东. 基于深度学习的单幅图片超分辨率重构研究进展. 自动化学报, 2020, 46(12): 2479−2499

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190031