IEEEJAS的个人博客分享 http://blog.sciencenet.cn/u/IEEEJAS

博文

基于多尺度特征融合反投影网络的图像超分辨率重建

已有 181 次阅读 2021-9-2 13:48 |系统分类:博客资讯

图像超分辨率重建: 单幅图像超分辨重建利用图像的先验知识通过硬件或软件的方法提高图像的分辨率,从一幅低分辨率的图像得到一幅高分辨率的图像。


孙超文,  陈晓.  基于多尺度特征融合反投影网络的图像超分辨率重建.  自动化学报,  2021,  47(7): 1689−1700

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200714?viewType=HTML


在图像应用领域,人们期望得到高分辨率图像。高分辨率图像能够提供更丰富的细节,而图像细节在许多实际应用中不可或缺。


图像分辨率通常可以从两个方面来提高,分别为硬件方面和软件方面。通过升级硬件设备来改善图像的分辨率经济成本较大,不利于普及,另一方面会受到应用场景和环境等因素的限制。例如,在医学图像中改进图像采集设备会面临巨大的技术难题;场景运动中会存在运动模糊;减小传感器像素尺寸会导致散粒噪声增加;以及由于芯片中的电容效应会产生图像模糊等。因此,从硬件方面进行改进来提高图像分辨率存在一定的局限性,需要结合软件算法来进一步提高图像画质,于是,图像超分辨率重建算法应运而生。


本文提出了一种多尺度特征融合反投影网络用于单幅图像超分辨率重建。作为一种模块化的端到端网络,只需对参数进行少量调整就可以扩展到任意放大倍数,实现了灵活地定义和训练不同深度的网络。本文主要贡献如下:


1) 在浅层特征提取阶段,设计多尺度特征提取模块,使得网络在浅层特征提取阶段获取不同维度的特征信息,可以使网络学习到图像更多的高频信息,提高重建性能;


2) 在特征映射阶段,构建多尺度投影单元实现自适应获取不同尺度的图像特征,运用多尺度上下投影单元通过递归学习从输入的LR图像中生成HR特征再投影回LR空间,实现残差反馈过程;


3) 在重建模块,通过全局残差跳跃连接将残差图像从LR输入添加到全局恒等映射中,使得网络仅需要学习图像残差,极大地降低学习难度并加速了网络的收敛。


图1.png

本文算法网络结构图


为了评估算法的性能,把DIV2K中的800张训练图像作为训练集,并采用了旋转和翻转进行了数据扩充。选用5个标准数据集评估模型性能,分别为Set5,Set14,BSD100,Urban100和Manga109。用峰值信噪比(PSNR)和结构相似性(SSIM)作为客观性能评价指标。本算法重建图像的质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法,放大倍数大时重建性能相比更优秀。


图2.png

多尺度上投影单元


图3.png

多尺度下投影单元


作者简介


陈  晓

南京信息工程大学电子与信息工程学院教授。主要研究方向为现代电子系统设计,声信号与信息处理,图像处理,成像等。本文通讯作者。

个人主页:https://faculty.nuist.edu.cn/chenxiao/

E-mail: chenxiao@nuist.edu.cn


孙超文

南京信息工程大学电子与信息工程学院硕士研究生. 2018年获得南京理工大学紫金学院电子工程与光电技术系学士学位. 主要研究方向为深度学习和计算机视觉.

E-mail: 20181219071@nuist.edu.cn




http://blog.sciencenet.cn/blog-3291369-1302544.html

上一篇:进化计算在复杂机电系统设计自动化中的应用综述
下一篇:【当期目录】IEEE/CAA JAS 第8卷 第8期

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-10-17 02:23

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部