引用本文

张毅锋, 刘袁, 蒋程, 程旭. 用于超分辨率重建的深度网络递进学习方法. 自动化学报, 2020, 46(2): 274-282. doi: 10.16383/j.aas.2018.c180158

ZHANG Yi-Feng, LIU Yuan, JIANG Cheng, CHENG Xu. A Curriculum Learning Approach for Single Image Super Resolution. ACTA AUTOMATICA SINICA, 2020, 46(2): 274-282. doi: 10.16383/j.aas.2018.c180158

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c180158 

关键词

超分辨率，递进学习，共生矩阵，密度峰值 

摘要

本文针对深度学习在单幅图像超分辨率方面难以恢复高频纹理细节的问题, 提出了一种基于递进学习的超分辨率算法.该算法首先采用灰度共生矩阵提取图像纹理特征, 然后利用基于密度峰值的聚类方法实现对整个训练集的分类, 其中每个训练子集具有相似的纹理复杂度.针对传统的递进学习方法会出现对已掌握知识"遗忘"的问题, 本文根据网络模型在各个训练子集上的拟合情况, 实时调整当前训练样本在各个子集上的概率分布, 从而实现快速收敛, 并获得更好的纹理细节复原效果.将本文提出的递进学习用于DRCN、VDSR、SRCNN等超分辨率网络的训练, 实验结果表明超分辨率网络收敛速度得到提升, 同时网络对复杂纹理等细节较多的图像也获得了较好的视觉恢复效果, 峰值信噪比则平均获得0.158 dB、0.18 dB、0.092 dB的提升.

文章导读

单幅图像超分辨率(Single image super resolution, SISR)重建的任务是由一幅低分辨率图像(Low resolution image, LR)去推断最为可能的高分辨率图像(High resolution image, HR).由于LR丢失了大量高频信息, 理论上恢复出的高分辨率图像存在多种可能.算法的目标是尽可能多地恢复纹理细节等高频信息, 找寻最为可能的HR.

基于深度学习的算法在SISR上获得了巨大成功.其中SRCNN[1]通过训练一个浅层网络来实现纹理细节的恢复.胡长胜等[2]则针对信息过压缩和网络收敛速度等问题对SRCNN做出改进, 获得视觉效果上的改善.文献[3]和[4]则分别在深度学习和噪声图像的超分辨率上做了进一步探索.浅层网络的缺点之一是感受野很小, 因而也限制了网络的表达和泛化能力. VDSR[5]、SRResNet[6]、EDSR[7]等则采用深层网络来获取高分辨率图像.损失函数的设计也获得越来越多的重视.传统的均方误差函数(Mean square error, MSE)虽然有利于获得很高的峰值信噪比(Peak signal to noise ratio, PSNR), 但恢复出的图像容易丢失纹理等细节信息, 视觉上趋于模糊. EnhanceNet[8]通过感知损失来恢复LR中丢失的高频信息, 获得了较好的视觉效果.

这些方法都是尝试在:学"这方面进行改进, 而深度学习的训练是一件较为困难的事情, 通常并不能收敛到较好的局部极小值.本文尝试在:教"这个领域做出改进, :老师"通过递进学习(Curriculum learning, CL)[9]为:学生" (待训练的神经网络)合理安排课程(读取训练样本的先后顺序), 先拟合简单的训练样本, 再拟合困难样本, 不仅可以加速收敛, 网络模型也有望收敛到接近全局最优解的局部极小值.递进学习目前在语言模型生成[10]、长短时记忆网络[11]的训练等方面都取得了不错的效果, 但对于传统的递进学习方法, 已拟合的简单样本在训练后期由于很少参与到模型训练中, 网络模型往往会出现对已学知识:遗忘"的现象.

在SISR中, 纹理细节多的图像由于不易恢复属于较为困难的样本, 整体平滑的图像则属于简易样本.在课程设置方面, 本文提出通过灰度共生矩阵[12]提取图像纹理特征, 随后采用基于密度峰值的聚类方法[13]将训练集分成多个子集, 每一个子集的图片纹理复杂度比较接近, 这些子集就是相应的课程.针对模型对已学课程:遗忘"的问题, 本文依据模型在不同训练子集上的学习曲线的斜率来选取相应的训练数据.斜率越大, 在相应的子集上抽取训练样本的概率就越高, 但每个训练子集都有一定概率参与到网络模型训练中.这样避免了人为设定训练次序造成的不稳定, 同时也抑制了对已掌握知识的遗忘, 从而保证训练过程始终朝着负梯度方向优化.本文采用改进的递进学习训练DRCN[14]、VDSR[5]、SRCNN[1]等SISR网络, 实验表明本文提出的改进的递进学习方法在加速网络模型收敛的同时, 模型的超分辨率效果也获得进一步提升.

图 1  灰度共生矩阵示意图

图 2  DRCN在不同学习方法下的训练收敛情况(测试集是Set14, 放大倍数为3倍)

图 3  VDSR在不同学习方法下的训练收敛情况(测试集是Set5, 放大倍数为4倍)

本文提出用于超分辨率重建的深度网络递进学习方法.递进学习有利于网络模型在:由易到难"的拟合过程中, 较快地收敛到接近全局最优解的局部极小值.课程设置方面, 本文采用灰度共生矩阵提取图像纹理特征, 通过基于密度峰值的聚类方法实现对图像的分类.在递进学习方法上, 本文针对传统递进学习方法的优缺点做出改进, 依据模型在各个子集上的学习曲线斜率来实时调整训练样本在不同子集上的概率分布, 获得比其他递进学习更好的训练效果.实验表明, 本文提出的训练方法在加快网络训练的同时, 最终的超分辨率测试效果在PSNR、SSIM上都有相应的提升.但本文的递进学习方法还需要人为对训练集进行分类, 分类方法直接影响到后续的训练.在之后的研究中, 将尝试通过强化学习的方式, 让网络:学习"出选择训练样本的能力, 从而可以进一步减少人为设置课程对训练造成的不稳定.

作者简介

张毅锋

博士, 东南大学信息科学与工程学院副教授, IEEE高级会员.主要研究方向为计算机视觉, 机器学习, 数字水印与信息隐藏, 混沌神经信息处理和无线通信. E-mail: yfz@seu.edu.cn

蒋程  

东南大学信息科学与工程学院硕士研究生.主要研究方向为机器学习, 人脸检测. E-mail: 220150747@seu.edu.cn

程旭   

南京信息工程大学计算机与软件学院副教授, 2015年在东南大学获得博士学位.主要研究方向为计算机视觉和模式识别. E-mail: xcheng@nuist.edu.cn

刘袁  

东南大学信息科学与工程学院硕士研究生.主要研究方向为超分辨率, 视频理解, 语义分割.本文通信作者. E-mail: liuyuan@seu.edu.cn