引用本文

徐金东, 马咏莉, 梁宗宝, 倪梦莹. 自监督学习的单幅透射图像恢复. 自动化学报, 2023, 49(1): 219−228 doi: 10.16383/j.aas.c220165

Xu Jin-Dong, Ma Yong-Li, Liang Zong-Bao, Ni Meng-Ying. Single bleed-through image restoration with self-supervised learning. Acta Automatica Sinica, 2023, 49(1): 219−228 doi: 10.16383/j.aas.c220165

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220165

关键词

特征提取，透射去除，图像恢复，自监督，生成对抗网络 

摘要

现有基于学习的单幅透射图像恢复方法常需要大量成对的标签数据来训练模型, 因缺乏成对图像集的监督约束, 致使透射图像恢复效果欠佳, 限制了其实用性. 提出了一种基于自监督学习的单幅透射图像恢复方法, 利用循环一致性生成对抗网络的循环结构和约束转移学习能力实现非成对图像的模型训练, 通过设计自学习模块, 从大规模的无监督数据中挖掘自身的监督信息对网络进行训练, 以此形成有效的从浅层到深层的特征提取, 提高透射图像正面内容的纹理、边缘等细节信息恢复质量, 实现单幅图像的透射去除. 实验结果表明, 该方法在合成图像数据集、公共图像数据集以及真实图像数据集上都取得了较好的透射图像恢复结果.

文章导读

扫描仪、相机和摄像机等设备对纸质内容进行成像时, 背面信息常会透射叠加到正面文字内容中, 这不仅降低了图像内容的可读性, 还会影响图像的后续处理, 如电子阅卷、历史文档数字恢复[1]和场景文本识别[2]等. 透射图像恢复, 即透射去除, 是从含有背面和正面内容的混合图像中恢复出正面内容的过程, 可建立如式(1)所示模型.

I=(1−α)F+αg(T)                         (1)

其中, I表示有透射的混合图像, F表示正面图像, α是透射混合参数, T表示背面图像, g(⋅)为透射衰减函数. 因T、α和g(⋅)均未知, 从I中去除T、恢复F是一个不适定的NP (Non-deterministic polynomial)难问题. 而且, 背面图像的内容结构和属性常与正面图像相似, 导致难以在去除背面透射信息的同时恢复正面文档图像中的内容和细节.

现有文档图像的恢复可以分为两大类: 基于阈值处理的方法和基于学习的方法. 阈值处理法是传统的文档图像恢复方法[3-5], 通过像素阈值判分正面或背面内容, 文献[6]提出了一种结合局部图像对比度和局部图像梯度的自适应对比度图, 采用局部区域中检测到的边缘来估计局部阈值, 但由于透射文档图像质量参差不齐, 在计算局部和全局阈值时需要大量的经验参数, 系统结构复杂、运行效率较低. 为减轻参数设计和调整的负担, 基于学习的方法通过训练的思路来获取图像恢复模型, 文献[7]和文献[8]通过引入不同的分类器直接对图像特征进行分类, 减少参数的数量, 提高了文档二值化方法的效率. 近几年神经网络在不少应用场景中取得良好性能, 基于深度学习透射图像恢复的方法[9-12]备受研究者的青睐, 这类方法能够实现端到端的从透射图像中恢复出正面内容, 但需要大量的成对数据集, 且常存在过拟合现象. 最近, 生成对抗网络(Generative adversarial networks, GAN)[12]在合成图像方面大放异彩, 并且一部分科研人员将其用于图像恢复相关处理任务, 文献[13]利用GAN扩充训练数据集, 处理图像二值化任务, 文献[14]使用Pix2Pix GAN去除了光学音乐识别的五线谱, 文献[15]引入了一种包含两个判别器网络的双判别器GAN结构, 以结合全局和局部信息, 而Castellanos[16]提出了一种使用无监督区域自适应的神经网络方法将文档图像进行二值化操作, 与其他学习的方法相比, 这些基于GAN的模型会产生更好的结果, 但是仍需要大量的成对数据进行训练, 难以泛化.

为了解决以上问题, 本文利用无需成对数据的循环一致性生成对抗网络(Cycle-consistent generative adversarial networks, CycleGAN)[17], 提出了一种基于自监督学习的单幅透射图像恢复方法(Self-supervised learning based on cycle-consistent generative adversarial networks, S-CycleGAN), 主要由特征提取模块和自学习模块组成, 特征提取模块通过跳跃链接融合全局和局部特征, 以增强去透射模型的表达能力, 自学习模块能对不同的特征映射赋予不同的权重并进行自适应学习, 进而实现透射图像的高质量恢复.

本文的主要创新概括为:

1) 将S-CycleGAN应用于文档图像恢复, 提出了一种基于自监督学习的单幅透射图像恢复方法, 并用于单幅图像中透射内容去除, 该方法不依赖于先验知识, 在训练过程中不需要成对数据集;

2) 设计了一种新颖的去透射生成器, 它结合了自学习模块和特征提取模块来自监督训练网络提取图像特征, 尽可能保留了图像的细节内容;

3) 通过设计特征提取模块、自学习模块和跳跃链接, 融合全局和局部特征, 增加了S-CycleGAN的深度, 提高了文本内容的表达能力, 产生视觉上满意的恢复效果.

图 2  生成器Gy的网络结构

图 3  FEM的网络结构

图 6  判别器的网络结构

本文提出了一种自监督学习的单幅透射图像恢复网络(S-CycleGAN), 该网络可以直接对非配对的透射文档图像执行图像恢复任务, 且无需混合比例、阈值等任何先验参数. 通过设计有效的生成器网络, 针对文档图像中透射分布不均匀、文字印记深浅不一等问题, 在网络中加入自学习模块, 提高关注点的表示和感兴趣内容的表现力, 以获得更好的透射图像恢复效果和重建细节内容. 在合成数据集、DIBCO数据集和真实图像上与现有方法进行了实验对比, 结果表明S-CycleGAN在客观度量指标和视觉效果上均取得了较好的结果, 有望集成于扫描仪、相机等实际成像设备.

作者简介

徐金东

烟台大学计算机与控制工程学院教授. 主要研究方向为盲源分离, 图像处理和模式识别. 本文通信作者. E-mail: xujindong@ytu.edu.cn

马咏莉

烟台大学计算机与控制工程学院硕士研究生. 主要研究方向为盲源分离和图像处理. E-mail: mayonglim@163.com

梁宗宝

烟台大学计算机与控制工程学院硕士研究生. 主要研究方向为盲源分离和图像处理. E-mail: liangzongbao_ytu@163.com

倪梦莹

烟台大学物理与电子信息学院讲师. 主要研究方向为信号处理和模式识别. E-mail: nimengying@ytu.edu.cn