|
图像超分辨率重构技术
是指利用一幅或者多幅低分辨率图片通过软件处理生成一幅具有较高分辨率图像的技术。 图像分辨率是衡量图像质量的一项重要指标。高分辨率图像拥有更高的像素密度,更多的细节信息,不但能大大提高人们的视觉体验,还能对其包含的信息进一步挖掘和利用。然而,图像的分辨率通常受到以下因素的限制: 1) 由于信号传输带宽及成像传感器等的限制, 成像设备获取到的图像通常具有较低的分辨率; 2) 成像系统会受到噪声、模糊等干扰,获取的图像质量下降,分辨率受损; 3) 成像设备精度的提高,图像尺寸的缩小,单位面积内像素数量的增加,都受到了当前制造水平的制约,从硬件上提高其分辨率较为困难,且耗时较长, 成本极高。 采用图像超分辨率重构技术提高图像分辨率具有成本低、周期短等优点,因此成为图像领域的一个研究热点。深度学习在图像领域的发展过程中具有重要作用。随着神经网络在图像分类领域的发展,图像超分辨率重构方法也受经典的神经网络模型启发并取得了重大进步。基于深度学习的图像超分辨率算法已成为单幅图片超分辨率重构主流算法,也是未来图像超分辨率技术发展的必然趋势。 首先,综述介绍了一系列基于各种深度学习模型的图像超分辨率重构算法,主要包括卷积神经网络、残差网络、生成对抗网络及这些网络的混合模型,分析这些模型在网络结构、输入信息、损失函数、放大因子以及评价指标等方面的差异,并给出他们的实验结果。 根据本文给出的超分辨率重构网络模型分析可知, 当前基于深度学习的单幅图片超分辨率重构方法发展趋势包含以下五个方面: 1) 追求好的重构效果; 2) 追求丰富明显的细节; 3) 追求轻量化网络; 4) 追求较高的放大倍数; 5) 追求任意放大倍数。 同时叙述了基于深度学习的单幅图片超分辨率重构方法存在的关键问题: 1) 网络结构设计问题; 2) 网络训练及优化问题; 3) 损失函数与评价指标的选取; 4) 图像超分辨率重构的应用。 基于深度学习的图像超分辨率重构技术是当前单幅图片超分辨率重构的主流技术,无论是在重构速度还是重构效果上均优于传统方法。然而,基于深度学习的单幅图片超分辨率重构也存在亟待解决的问题。首先, 深度学习的理论普遍具有不可解释性,对于网络的设计与调参往往需要有相关领域知识的人凭借经验来控制,这大大限制了它的发展空间。如何从基础理论上将网络的运行机制、原理解释清楚,提出明确的理论指导,是基于深度学习的超分辨率重构技术乃至整个深度学习技术面临的问题。其次,深度学习的网络模型通常缺乏一定的灵活性,一旦图像的降质过程存在差异,同一训练模型得到的重构效果就会受到影响。如何将当前对于超分辨率重构技术的研究应到实际问题中,增强网络模型的泛化能力,是基于深度学习的图像超分辨率重构需要解决的问题之一。最后,无论是传统方法还是基于深度学习的方法,对于较大的尺度放大因子 (如×8),重构的效果都不是特别理想,如何在高倍数放大因子的重构中取得良好的重构效果也是基于深度学习的图像超分辨率重构技术面临的挑战之一。 总之,深度学习在单幅图片超分辨率重构领域已展现了巨大的潜力,但是仍存在许多没有完善的解决方案的问题。 引用格式 张宁, 王永成, 张欣, 徐东东. 基于深度学习的单幅图片超分辨率重构研究进展. 自动化学报, 2020, 46(12): 2479−2499 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190031 作者简介 张 宁 中国科学院大学光学工程专业博士研究生。2017年获东北大学学士学位。主要研究方向为图像处理,深度学习,遥感图像超分辨率重构。 E-mail: neuq2013zn@163.com 王永成 中国科学院长春光学精密机械与物理研究所研究员。2003年获吉林大学学士学位。2010 年获中国科学院研究生院博士研究生学位。主要研究方向为人工智能、图像工程以及空间有效载荷嵌入式系统。本文通信作者。 E-mail: wyc_dyy@sina.com 张 欣 中国科学院大学光学工程专业博士研究生。2016 年获东北大学学士学位。主要研究方向为深度学习、可见光图像遥感图像场景分类和高光谱遥感图像分类。 E-mail: zhangxin162@mails.ucas. ac.cn 徐东东 中国科学院长春光学精密机械与物理研究所助理研究员。2013 年获山东大学学士学位,2015 年获哈尔滨工业大学硕士研究生学位,2020年获中国科学院大学光学工程专业博士学位。主要研究方向为深度学习、图像融合及嵌入式系统。 E-mail: sdwhxdd@126.com
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-20 21:40
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社