引用本文

张巍, 张筱, 万永菁. 基于条件生成对抗网络的书法字笔画分割. 自动化学报, 2022, 48(7): 1861−1868 doi: 10.16383/j.aas.c190141

Zhang Wei, Zhang Xiao, Wan Yong-Jing. Stroke segmentation of calligraphy based on conditional generative adversarial network. Acta Automatica Sinica, 2022, 48(7): 1861−1868 doi: 10.16383/j.aas.c190141

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190141

关键词

书法结构，笔画分割，条件生成对抗网络，对抗学习 

摘要

毛笔书法作为中华传统艺术的精华, 需要在新的时代背景下继续传承和发扬. 书法字是以笔画为基本单元组成的复杂图形, 如果要分析书法结构, 笔画分割是首要的步骤. 传统的笔画分割方法主要利用细化法从汉字骨架上提取特征点, 分析交叉区域的子笔画拓扑结构关系来分割笔画. 本文分析了传统笔画分割基于底层特征拆分笔画的局限性, 利用条件生成对抗网络(Conditional generative adversarial network, CGAN)的对抗学习机制直接分割笔画, 使提取笔画从先细化再分割改进为直接分割. 该方法能有效提取出精确的笔画, 得到的高层语义特征和保留完整信息的单个笔画利于后续对书法轮廓和结构的评价.

文章导读

书法是汉字文化的精髓, 学习书法是一个非常复杂的过程, 人们通过描红、临摹等方法学习名家的书法风格. 学习书法需要先摹后临, 循序渐进, 对于有一定书法基础的人, 当以临帖为主. 临帖有几个阶段: 临贴、背贴、核贴. 临帖在书法练习中是最为重要也是最有挑战性的. 临帖初期要求模仿作品和范本有很高的相似度, 许多书法爱好者在核贴过程中, 并不能及时有效地发现自己的不足, 也没有条件寻求名师一一指点. 因此, 找到一种通用性强的算法, 在核贴环节让练习者更轻松地进行比对笔画和结构, 是一件非常有意义的工作.

本文通过调查手机和平板的应用商店发现, 大部分书法学习软件只是提供名家字帖, 教学视频, 以及利用触屏的虚拟毛笔描红练习, 欠缺实体笔墨的实践和细致的书法评价, 对书法练习者有一定的借鉴意义, 但实际作用不大. 没有针对写在纸上的书法进行评价的软件, 最主要的原因是笔画提取比较困难, 缺乏将书法笔画拆分开的算法. 传统的汉字笔画提取方法有两种, 一是应用骨架化的方法, 另一种是底层像素特征的方法. 其中, 骨架化就是将字符图像中所有线段图案的宽度减小为一个像素的过程[1], 目前有细化, 中轴变化和形态学方法[2].

计算机识别领域很多应用场景是通过骨架化来识别物体, 提取汉字骨架, 有利于对图像数据进行压缩, 进一步分析汉字的结构. 压缩后的数据虽然提高了对书法图像处理的速度, 但是, 单纯的骨架提取得到的只是底层信息, 并不能反映毛笔笔锋、运笔的力度等高层语义信息, 丢失了书法字体的很多属性, 也失去了毛笔书法的灵魂.

常见的骨架法步骤是[3-4]先对骨架段进行删除、合并, 再用模板匹配法分析交叉,但在判定是否删除与合并时常有误判. 如何保证良好的连通性,保持物体原有的拓扑结构又能减弱边界噪声的影响[2, 5]也是目前骨架提取研究的难点. 另一种方法是利用底层像素特征, 提取的对象主要有灰度图、二值图和轮廓图. 其中, 从灰度图中提取笔画的时间复杂度最高. 它的主要优点是笔画的灰度大小能够反映书写时的笔画轻重, 对于轻微的笔画多余连接, 能够根据连接处的灰度对比等信息解决. 但是实际操作的效果受光照条件、纸张材料等环境因素较多. 轮廓法提取笔画也是常见的做法, 它利用笔画两侧轮廓的相对位置和大小关系来提取笔画, 较适用于笔画宽度稳定的印刷体汉字[1, 6-8]. 但是鲁棒性不强, 很容易受到伪角点的影响. 轮廓法的关键是: 通过定位角点(拐点)来定位交叉区, 再对交叉区进行分类, 并进行笔画分离. 这种方法用在没有固定书写模板的书法字上会出现角点的误判, 想要判定许多飞白或枯笔产生的角点是伪角点, 则需判别此处并没有交叉笔画, 而用轮廓法判别交叉笔画的方式就是检测角点, 两者互相矛盾[5], 很难在实际情况下应用.

当代的人工智能研究者一直致力于研究让计算机赋有创造力, 本文正是利用机器学习的创造力来解决书法字的笔画分割问题. 深度学习中的无监督模型近年来受到越来越多的关注, 变分自编码器(Variational auto-encoder, VAE), 生成对抗网络(Generative adversarial network, GAN)[9]等无监督模型受到越来越多的关注. GAN由生成器生成观测数据, 判别器估计观测数据是否来源于生成器, 预测结果用来调整生成器的权重. 因为GAN可以进行对抗操作, 高效的自学习, 符合人工智能发展的趋势, 近年来, 基于GAN的研究方法越来越丰富[10], 可以应用于全景分割, 修复图像和超分辨率重建[11-13]. 其中常见的条件生成对抗网络(Conditional generative adversarial network, CGAN)是在GAN的基础上加入了辅助信息, 用来控制数据的生成.

本文通过条件生成对抗网络, 对笔画进行精确分割, 可以得到局部和整体的可视化结果, 用于后续评价, 让练习者可以进一步对比自己练习的书法与字帖的差距.

图 1  CGAN基本框架

图 2  生成器网络结构

图 4  生成器训练过程

书法笔画的正确分割对书法练习、汉字美化、风格鉴定[23-25]等领域具有重大意义. 本文通过使用条件生成对抗网络pix2pix对书法字笔画进行分割, 解决了传统算法分割误判率高, 无法提取高层语义信息的问题. 本文方法在前期训练比较耗时, 但实际使用的时候只需要调用模型, 能做到及时响应. 同时可以保留书法的笔锋、粗细等属性, 骨架的信息也更加精确. 从应用可行性的角度来说, 本文的方法相比传统方法更具有优势.

作者简介

张巍

华东理工大学信息科学与技术学院硕士研究生. 主要研究方向为数字图像处理. E-mail: johnwayne1995@163.com

张筱

华东理工大学信息科学与技术学院硕士研究生. 主要研究方向为模式识别. E-mail: zhangxiaoecust17@163.com

万永菁

华东理工大学信息科学与技术学院教授. 2008年获得华东理工大学检测技术与自动化装置专业博士学位. 主要研究方向为智能信息处理. 本文通信作者. E-mail: wanyongjing@ecust.edu.cn