博文
SealGAN: 基于生成式对抗网络的印章消除研究
|
引用本文
李新利, 邹昌铭, 杨国田, 刘禾. SealGAN: 基于生成式对抗网络的印章消除研究. 自动化学报, 2021, 47(11): 2614−2622 doi: 10.16383/j.aas.c190459 Li Xin-Li, Zou Chang-Ming, Yang Guo-Tian, Liu He. SealGAN: Research on the seal elimination based on generative adversarial network. Acta Automatica Sinica, 2021, 47(11): 2614−2622 doi: 10.16383/j.aas.c190459 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190459?viewType=HTML 文章简介 关键词 印章消除, 生成式对抗网络, SealGAN, CycleGAN, 评价指标 摘 要 发票是财务系统的重要组成部分. 随着计算机视觉和人工智能技术的发展, 出现了各种发票自动识别系统, 但是发票上的印章严重影响了识别准确率. 本文提出了一种用于自动消除发票印章的SealGAN网络. SealGAN网络是基于生成式对抗网络CycleGAN的改进, 采用两个独立的分类器来取代原本的判别网络, 从而降低单个分类器的分类要求, 提高分类器的学习性能, 并且结合ResNet和Unet两种结构构建下采样−精炼−上采样的生成网络, 生成更加清晰的发票图像. 同时提出了基于风格评价和内容评价的综合评价指标对SealGAN网络进行性能评价. 实验结果表明, 与CycleGAN-ResNet和CycleGAN-Unet网络相比较, Seal GAN网络不仅能实现自动消除印章, 而且还能更加清晰地保留印章下的发票内容, 网络性能评价指标较高. 引 言 发票是财务系统的重要组成部分, 发票的识别和处理是财务人员的首要工作. 人工智能已被广泛应用在人脸识别、车辆识别、物体检测等各个领域, 而基于人工智能的发票识别, 可为财务人员节省大量的时间. 目前发票自动识别根据使用场景不同, 可分为移动客户端、云端和本地客户端. 移动端客户端发票识别是通过手机端的离线SDK, 集成到公司财务系统的APP内, 自动检测发票的边线并拍照识别, 提取发票上的关键信息; 云端发票识别是通过调用云平台的API接口, 将拍照或者扫描的发票图像传送到云平台上进行识别; 而本地客户端识别是识别软件与扫描仪硬件配合使用进行识别. 三种方式本质都是基于识别软件进行的. 由于发票种类繁多, 格式不固定, 有的发票存在手写的内容, 且不同人手写字的风格不一, 因此基于传统数字图像处理的识别软件, 相应识别准确率较低. 随着卷积神经网络的兴起, 包括表格线定位、手写文字识别等问题得到很好的解决. 文献[1]采用卷积神经网络实现增值税发票批量识别, 通过对发票图像进行采集、预处理、字符切割, 基于CNN神经网络进行字符识别, 同时融入人工修改, 提高识别率. 但是发票上的印章对发票识别准确率依旧具有一定影响, 且印章是每张发票必不可少的, 因此如何消除印章也是现在OCR (Optical character recognition)领域的研究热点. 目前大多数研究者对于发票印章的研究主要是印章识别与验证. 针对发票印章的去除问题, 若通过印章定位, 而后直接挖除印章则会丢失印章下的发票内容; 若采用过滤颜色的方式来消除, 会导致发票中与印章颜色相近的文字变得模糊不清, 而且不同发票的印章颜色不同. 文献[5]提出一种基于彩色图像的二次分割算法来去除印章, 但是对于发票的要求较高, 需要保证印章的颜色为红色或者蓝色, 票据不能出现明显的扭曲和变形, 字体还需要求是黑色或灰色, 其实用性较差. 文献[6]针对印章覆盖、发票折痕等干扰因素影响发票号码分割的问题, 采用基于数字结构特征的识别算法, 通过对噪声粘连区域进行修复, 解决干扰因素对数字分割的影响, 实现发票号码识别. 但是如何判断噪声区域最小连通面积的阈值是算法关键, 当发票数量增多, 印章颜色深度和位置不统一时, 消除印章干扰则很困难. 各种图像处理软件也可用在印章消除上, 如PhotoShop, 但需要基于软件进行手动处理, 大量发票的印章消除则会新增大量工作量, 反倒得不偿失. 因此研究如何自动消除发票印章, 对提高发票识别准确率具有重要意义. 生成式对抗网络GAN (Generative adversarial network)是Goodfellow等在2014年提出的一种生成式网络. 在GAN提出之前, 常见的生成式网络有最大似然估计法、近似法、马尔科夫链法等. 这些方法的基本步骤是, 先对样本数据进行分布假设, 然后利用数据样本直接对假设分布的参数进行拟合, 这会导致学习到的生成式模型受到限制. 而GAN不同于上述的生成网络, 该方法采用对抗学习方式, 先通过判别器学习生成分布和真实分布之间的差异, 再驱使生成器去缩小差异. GAN相比于其他的生成网络, 对数据的分布不做显性的限制, 从而避免了人工设计网络分布. GAN目前常用于实现图像的风格迁移以及超分辨图像的生成. 本文基于生成对抗网络提出用于消除印章的SealGAN网络. SealGAN借鉴了CycleGAN网络的循环结构, 采用两个独立的分类器来取代判别网络, 并针对印章的特点去设计生成网络, 实现发票图像的带印章到不带印章的风格迁移, 从而达到消除发票印章的效果. 图 3 SealGAN网络结构 图 7 三种网络在不同数据集划分比例下的性能指标 图 8 基于二次分割、CycleGAN-ResNet、CycleGAN-UNet和SealGAN的印章消除对比 作者简介 李新利 华北电力大学控制与计算机工程学院副教授. 主要研究方向为模式识别与智能系统, 图像处理, 燃烧过程检测技术. 本文通信作者. E-mail: lixinli@ncepu.edu.cn 邹昌铭 华北电力大学控制与计算机工程学院硕士研究生. 主要研究方向为深度学习, 图像处理. E-mail: 1172227195@ncepu.edu.cn 杨国田 华北电力大学控制与计算机工程学院教授. 主要研究方向为智能机器人, 计算机视觉, 火力发电精细化燃烧与优化控制. E-mail: ygt@ncepu.edu.cn 刘 禾 华北电力大学控制与计算机工程学院教授. 主要研究方向为图像处理, 计算机视觉, 模式识别. E-mail: lh@ncepu.edu.cn 相关文章 [1] 陈善雄, 朱世宇, 熊海灵, 赵富佳, 王定旺, 刘云. 一种双判别器GAN的古彝文字符修复方法. 自动化学报, 2022, 48(3): 853-864. doi: 10.16383/j.aas.c190752 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190752?viewType=HTML [2] 武文亮, 周兴社, 沈博, 赵月. 集群机器人系统特性评价研究综述. 自动化学报, 2022, 48(5): 1153-1172. doi: 10.16383/j.aas.c200964 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200964?viewType=HTML [3] 何江红, 李军华, 周日贵. 参考点自适应调整下评价指标驱动的高维多目标进化算法. 自动化学报, 2022, 48(6): 1569-1589. doi: 10.16383/j.aas.c200975 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200975?viewType=HTML [4] 杜鹏, 宋永红, 张鑫瑶. 基于自注意力模态融合网络的跨模态行人再识别方法研究. 自动化学报, 2022, 48(6): 1457-1468. doi: 10.16383/j.aas.c190340 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190340?viewType=HTML [5] 张洋, 江铭虎. 作者识别研究综述. 自动化学报, 2021, 47(11): 2501-2520. doi: 10.16383/j.aas.c200654 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200654?viewType=HTML [6] 李庆忠, 白文秀, 牛炯. 基于改进CycleGAN的水下图像颜色校正与增强. 自动化学报. doi: 10.16383/j.aas.c200510 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200510?viewType=HTML [7] 孔锐, 蔡佳纯, 黄钢. 基于生成对抗网络的对抗攻击防御模型. 自动化学报. doi: 10.16383/j.aas.2020.c200033 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2020.c200033?viewType=HTML [8] 陈泓佑, 陈帆, 和红杰, 朱翌明. 基于样本特征解码约束的GANs. 自动化学报. doi: 10.16383/j.aas.c190496 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190496?viewType=HTML [9] 孔锐, 黄钢. 基于条件约束的胶囊生成对抗网络. 自动化学报, 2020, 46(1): 94-107. doi: 10.16383/j.aas.c180590 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180590?viewType=HTML [10] 赵树阳, 李建武. 基于生成对抗网络的低秩图像生成方法. 自动化学报, 2018, 44(5): 829-839. doi: 10.16383/j.aas.2018.c170473 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170473?viewType=HTML [11] 卢倩雯, 陶青川, 赵娅琳, 刘蔓霄. 基于生成对抗网络的漫画草稿图简化. 自动化学报, 2018, 44(5): 840-854. doi: 10.16383/j.aas.2018.c170486 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170486?viewType=HTML [12] 王坤峰, 左旺孟, 谭营, 秦涛, 李力, 王飞跃. 生成式对抗网络:从生成数据到创造智能. 自动化学报, 2018, 44(5): 769-774. doi: 10.16383/j.aas.2018.y000001 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.y000001?viewType=HTML [13] 张龙, 赵杰煜, 叶绪伦, 董伟. 协作式生成对抗网络. 自动化学报, 2018, 44(5): 804-810. doi: 10.16383/j.aas.2018.c170483 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170483?viewType=HTML [14] 孙秋野, 胡旌伟, 杨凌霄, 张化光. 基于GAN技术的自能源混合建模与参数辨识方法. 自动化学报, 2018, 44(5): 901-914. doi: 10.16383/j.aas.2018.c170487 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170487?viewType=HTML [15] 冯冲, 康丽琪, 石戈, 黄河燕. 融合对抗学习的因果关系抽取. 自动化学报, 2018, 44(5): 811-818. doi: 10.16383/j.aas.2018.c170481 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170481?viewType=HTML [16] 姚乃明, 郭清沛, 乔逢春, 陈辉, 王宏安. 基于生成式对抗网络的鲁棒人脸表情识别. 自动化学报, 2018, 44(5): 865-877. doi: 10.16383/j.aas.2018.c170477 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170477?viewType=HTML [17] 王功明, 乔俊飞, 王磊. 一种能量函数意义下的生成式对抗网络. 自动化学报, 2018, 44(5): 793-803. doi: 10.16383/j.aas.2018.c170600 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170600?viewType=HTML [18] 林懿伦, 戴星原, 李力, 王晓, 王飞跃. 人工智能研究的新前线：生成式对抗网络. 自动化学报, 2018, 44(5): 775-792. doi: 10.16383/j.aas.2018.y000002 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.y000002?viewType=HTML [19] 王坤峰, 苟超, 段艳杰, 林懿伦, 郑心湖, 王飞跃. 生成式对抗网络GAN的研究进展与展望. 自动化学报, 2017, 43(3): 321-332. doi: 10.16383/j.aas.2017.y000003 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.y000003?viewType=HTML [20] 马儒宁, 涂小坡, 丁军娣, 杨静宇. 视觉显著性凸显目标的评价. 自动化学报, 2012, 38(5): 870-876. doi: 10.3724/SP.J.1004.2012.00870 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.00870?viewType=HTML 
https://blog.sciencenet.cn/blog-3291369-1341964.html
上一篇：基于轮胎状态刚度预测的极限工况路径跟踪控制研究
下一篇：基于遗传乌燕鸥算法的同步优化特征选择
