引用本文

李嫣, 任文琦, 张长青, 张金刚, 聂云峰. 基于真实退化估计与高频引导的内窥镜图像超分辨率重建. 自动化学报, 2024, 50(2): 334−347 doi: 10.16383/j.aas.c230070

Li Yan, Ren Wen-Qi, Zhang Chang-Qing, Zhang Jin-Gang, Nie Yun-Feng. Super-resolution of endoscopic images based on real degradation estimation and high-frequency guidance. Acta Automatica Sinica, 2024, 50(2): 334−347 doi: 10.16383/j.aas.c230070

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230070

关键词

内窥镜图像超分辨率，退化估计，高频引导，卷积神经网络 

摘要

内窥镜是诊断人体器官疾病的重要医疗设备, 然而受人体内腔环境影响, 内窥镜图像分辨率一般较低, 需对其进行超分辨处理. 目前多数基于深度学习的超分辨算法直接使用双三次插值下采样从高质量图像中获取低分辨率(Low-resolution, LR)图像以进行配对训练, 此种方式会导致纹理细节丢失, 不适用于医学图像. 为解决该问题, 针对医学内窥镜图像开发了一种新颖的退化框架, 首先从真实低质量内窥镜图像中提取丰富多样的真实模糊核与噪声模式, 之后提出一种退化注入算法, 利用提取的真实模糊核与噪声将高分辨率(High-resolution, HR)内窥镜图像退化为符合真实域的低分辨率图像. 同时, 提出一种高频引导的残差密集超分辨网络, 采用基于双频率信息交互的频率分离策略, 并设计多层级融合机制, 将提取的多级高频信息逐层嵌入残差密集模块的多层特征, 以充分恢复内窥镜图像的高频细节和低频内容. 在合成与真实数据集上的大量实验表明, 我们的方法优于对比方法, 具有更好的主客观质量评价.

文章导读

医用内窥镜是一种基于图像的医学检查仪器, 能够准确观察人体内部器官形态和病理变化, 辅助医师进行疾病的诊断及治疗[1-2]. 然而对于耳鼻喉等内腔直径较小的部位, 医用内窥镜的直径受到限制, 其输出图像的分辨率普遍较低. 此外, 人体内部环境昏暗, 仅凭内窥镜自带光源照亮, 会导致采集的图像存在噪声、纹理特征不清晰、模糊等退化问题[3-4]. 低分辨率的内窥镜图像不仅影响医生对病灶的判断, 还阻碍后续研究, 如异常区域分割、深度估计等. 因此, 如何提升低分辨率内窥镜图像的质量已经成为一个重要的医学图像问题.

图像超分辨率重建是提高图像质量的一种有效手段, 其能将低分辨率图像 (Low-resolution, LR) 转换为高分辨率图像 (High-resolution, HR). 近年来, 基于深度学习的图像超分辨率算法展现出了良好的性能, 其利用非线性变换自动学习多层次特征, 更深入地挖掘了LR与HR之间的内在联系[5]. Dong等[6]提出了第一个使用卷积神经网络的端到端超分辨算法SRCNN, 相较于传统方法, 所获得的图像边缘更清晰, 包含的伪影更少. Ledig等[7]将生成对抗网络引入超分辨算法, 并提出了新的感知损失函数, 使重建图像更具有真实感. Lim等[8]通过去除批归一化层对残差块进行优化, 并扩大了网络深度, 使重构图像的质量有效提升. Ahn等[9]提出了一种轻量级的级联残差网络CARN, 提升了超分辨率模型的效率和性能. 以上述方法为代表的深度超分辨算法大多针对自然图像开发和训练, 而内窥镜图像与自然图像存在较大差异. 首先是噪声干扰不同, 自然图像通常由相机拍摄, 噪声多为高斯噪声; 内窥镜图像由内窥镜设备拍摄, 噪声多为条纹噪声[10]. 其次是图像场景内容不同, 内窥镜图像的场景多为人体器官, 色彩信息单一, 并且包含重要的、细小的、不明显的医学纹理细节; 而自然图像场景丰富, 纹理细节较为明显. 此外, 公开的医学图像数据集种类和包含的图像数量有限, 一般不存在大量成对的LR和HR图像, 故而不适用于常见的超分辨率算法.

目前已有一些针对医学图像的超分辨算法, 如Chen等[11]提出一种生成对抗网络指导训练的多级密集连接超分辨率网络 (mDCSRN), 实现了磁共振MRI图像的超分辨. Park等[12]使用改进的U-Net网络实现了二维人脑CT图像的超分辨. Mahapatra等[13]提出一种基于生成对抗网络的眼底图像超分辨算法. 现有医学研究的影像模态主要为CT图像和MRI图像[14], 不同医疗领域的医学图像模态差异大, 图像特点各不相同, 不能直接互用. 对于内窥镜图像, 基于深度学习的超分辨算法[15-18], 虽然在一定程度上实现了内窥镜图像的超分辨, 但是这些算法都是通过插值下采样的方法获得用于训练的LR-HR图像对. 使用这样一种单一的、与现实不符的退化方式生成LR图像, 一方面导致模型的泛化性差, 另一方面与真实图像分辨分布差异大, 无法重建出高频纹理细节, 而这些丢失的细节内容对医学图像至关重要, 可能影响医生对病情的判断.

为解决上述问题, 本文提出一种针对真实内窥镜图像的超分辨算法, 该算法分为两个模块: 退化模块和超分辨率模块. 退化模块提出一种新颖的内窥镜模糊核和噪声的估计及注入算法, 可直接从真实LR内窥镜图像提取丰富多样的模糊核和噪声, 然后通过随机注入和多噪声拼贴的方式作用于真实HR内窥镜图像, 以生成与真实LR内窥镜图像分布相近的训练数据. 超分辨率模块则提出一种高频引导的残差密集网络, 使用基于高低频信息交互的频率分离策略, 提取多级高频特征; 再采用多层级融合策略, 将多级高频特征逐层融入残差密集模块的分层特征, 以引导其恢复出良好的纹理细节. 此外网络还采用了残差嵌套结构, 进一步加深了网络深度, 提升了网络性能. 本文的贡献总结如下:

1) 本文提出一种针对真实内窥镜图像的退化估计及注入算法, 基于真实低分辨率图像提取内窥镜相关的模糊核与噪声模式, 用于合成与真实域更接近的低分辨率内窥镜图像.

2) 本文提出一种新颖的高频信息引导的超分辨率网络结构, 采用基于双频率交互的频率分离策略, 以及多层级融合机制, 提取的多级高频信息引导构建残差密集块的多层特征, 重建出细节保留较好的高分辨率内窥镜图像.

3) 一系列的对比和消融实验证明了本文提出的退化框架以及超分网络的有效性, 相比其他方法具有更好的视觉效果和更高的客观质量评价.

图 1  退化框架示意图

图 2  HGRDN示意图

图 3  常见加性高斯噪声与内窥镜噪声对比

本文提出一种基于真实内窥镜图像退化估计的高频引导超分辨网络. 针对内窥镜图像的模糊核和噪声, 设计了一种新颖的退化框架, 旨在解决常规下采样方式生成的配对图像存在域差异的问题, 获得符合真实域的退化图像. 同时, 在超分辨阶段, 本文开发了基于双频率信息交互的频率分离策略以及多层级融合机制, 以重建完整清晰的重要纹理与细节. 大量实验表明, 与其他算法相比, 本文提出的方法可以产生更高质量的重建效果.

作者简介

李嫣

中国科学院信息工程研究所硕士研究生. 主要研究方向为医学图像处理, 计算机视觉, 智慧医疗. E-mail: liyan1999@iie.ac.cn

任文琦

中山大学网络空间安全学院副教授. 主要研究方向为人工智能, 计算机视觉, 图像处理, 网络空间内容安全. 本文通信作者.E-mail: renwq3@mail.sysu.edu.cn

张长青

天津大学智能与计算学部副教授. 主要研究方向为机器学习, 计算机视觉, 智能医疗. E-mail: zhangchangqing@tju.edu.cn

张金刚

中国科学院大学未来技术学院副教授. 主要研究方向为智能成像技术, 医学内窥成像, 智能医学健康.E-mail: zhangjg@ucas.ac.cn

聂云峰

布鲁塞尔自由大学应用物理与光子学系教授. 主要研究方向为自由曲面光学设计算法, 成像光谱仪, 生物医学成像. E-mail: yunfeng.nie@vub.be