孙超文,  陈晓.  基于多尺度特征融合反投影网络的图像超分辨率重建.  自动化学报,  2021,  47(7): 1689−1700

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200714?viewType=HTML

在图像应用领域，人们期望得到高分辨率图像。高分辨率图像能够提供更丰富的细节，而图像细节在许多实际应用中不可或缺。

图像分辨率通常可以从两个方面来提高，分别为硬件方面和软件方面。通过升级硬件设备来改善图像的分辨率经济成本较大，不利于普及，另一方面会受到应用场景和环境等因素的限制。例如，在医学图像中改进图像采集设备会面临巨大的技术难题；场景运动中会存在运动模糊；减小传感器像素尺寸会导致散粒噪声增加；以及由于芯片中的电容效应会产生图像模糊等。因此，从硬件方面进行改进来提高图像分辨率存在一定的局限性，需要结合软件算法来进一步提高图像画质，于是，图像超分辨率重建算法应运而生。

本文提出了一种多尺度特征融合反投影网络用于单幅图像超分辨率重建。作为一种模块化的端到端网络，只需对参数进行少量调整就可以扩展到任意放大倍数，实现了灵活地定义和训练不同深度的网络。本文主要贡献如下：

1) 在浅层特征提取阶段，设计多尺度特征提取模块，使得网络在浅层特征提取阶段获取不同维度的特征信息，可以使网络学习到图像更多的高频信息，提高重建性能；

2) 在特征映射阶段，构建多尺度投影单元实现自适应获取不同尺度的图像特征，运用多尺度上下投影单元通过递归学习从输入的LR图像中生成HR特征再投影回LR空间，实现残差反馈过程;

3) 在重建模块，通过全局残差跳跃连接将残差图像从LR输入添加到全局恒等映射中，使得网络仅需要学习图像残差，极大地降低学习难度并加速了网络的收敛。

为了评估算法的性能，把DIV2K中的800张训练图像作为训练集，并采用了旋转和翻转进行了数据扩充。选用5个标准数据集评估模型性能，分别为Set5，Set14，BSD100，Urban100和Manga109。用峰值信噪比(PSNR)和结构相似性(SSIM)作为客观性能评价指标。本算法重建图像的质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法，放大倍数大时重建性能相比更优秀。