引用本文

阿依夏木·力提甫, 鄢煜尘, 肖进胜, 江昊, 姚渭箐. 基于混合码本与因子分析的文本独立笔迹鉴别. 自动化学报, 2021, 47(9): 2276−2284 doi: 10.16383/j.aas.c190121

Ayixiamu·Litifu, Yan Yu-Chen, Xiao Jin-Sheng, Jiang Hao, Yao Wei-Qing. Text-independent writer identification based on hybrid codebook and factor analysis. Acta Automatica Sinica, 2021, 47(9): 2276−2284 doi: 10.16383/j.aas.c190121

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190121

关键词

笔迹鉴别，混合码本，文本独立，因子分析 

摘要

针对已有的笔迹鉴别方法对笔迹版式的要求比较严格、训练过程耗时、对内容不受限制的小样本数据情况下鉴别性能较低等问题, 提出了基于混合码本与因子分析的文本独立笔迹鉴别算法. 该算法提取写作时常用的子图像, 并用描述符标注“代码”建立“码本”. 在特征提取层, 分别采用加权的方向指数直方图法和距离变换法, 对于具有相同描述符的“代码”计算特征距离. 把影响特征距离的因素分为书写因子和字符因子, 对码本中的每个书写模式进行双因子方差分析. 在IAM和Firemaker这两个标准数据集上的实验结果证明, 相比目前国内外的先进已有方法, 本文提出的算法在精度和速度方面有一定的优势, 具有一定的推广价值, 适合处理多语种的笔迹鉴别问题.

文章导读

笔迹鉴别指的是通过手写的文字信息鉴定书写人身份的一种文件鉴定技术. 它作为机器视觉与模式识别领域中近几年的研究热点之一, 在历史文件分析、司法嫌疑人身份识别和古代手稿分类等方面发挥着重要作用. 在过去的几十年里, 笔迹专家们大都利用机器视觉技术来研究世界上主要语言的笔迹鉴别问题, 然而小型语言的存在为笔迹鉴别领域提供了新的研究空间[1]. 由于每种语言脚本的独特性, 各语种的笔迹鉴别技术略有不同. 因每一种语言都对笔迹鉴别方法提出新的挑战, 很难有适用于所有语言的通用技术. 本文重点研究维吾尔文笔迹鉴别问题, 并利用现有的IAM[2]与Firemaker[3]标准数据集验证本文算法的可行性. 手写文本模式有两种: 含书写文本的笔轨迹时间序列的在线模式和仅含书写文本图像的离线模式, 分为在线和离线的笔迹鉴别方法[4]. 写作速度、角度、笔顺或压力用于在线笔迹鉴别, 而与单词、字符、行或段落相关联的特征用于离线笔迹鉴别. 本文研究的对象即为离线笔迹鉴别方法.

当前的离线笔迹鉴别方法根据提取特征方式的不同可分为全局特征提取方法[5-6]与局部特征提取方法[7-11]. 全局特征提取方法把手写笔迹看成特殊的纹理图像, 提取能够反映手写文本统计特性的全局特征作为鉴别的依据. 局部特征提取方法是对笔迹图像的局部结构、梯度、轮廓、几何特征等进行特征描述, 并通过编码方式将局部特征映射到公共空间形成全局特征. 以往文献中提出的微结构特征[7] 局部二值模式(Local binary pattern, LBP)以及局部相位量化(Local phase quantization, LPQ)[8], 尺度不变特征变换(Scale-invariant feature transform, SIFT)[9-11]和高斯混合模型(Gaussian mixed model, GMM)超向量[12]都属于局部特征提取方法. 随着深度学习算法的广泛推广, 基于无监督特征学习[10]、半监督特征学习[11]和卷积神经网络(Convolutional neural network, CNN)的笔迹鉴别[4]方法也得到了发展. 对于小样本笔迹图片, 相比于全局纹理特征, 笔迹的局部结构特征更直观、显著、稳定. 因此, 近年来大量的研究集中在基于局部结构特征的笔迹鉴别方法上, 基于码本[13-15]的笔迹特征提取是其中较重要的关注点. 本文提出的方法是基于局部结构特征生成码本的方法, 其主要思路是从两份笔迹文本中提取书写不变模式组成码本, 然后通过提取每一个码本成员的局部特征形成全局特征.

计算机笔迹鉴别根据测试对象和特征提取的方法分为两大类: 文本独立方法与文本依存方法. 文本依存方法要求参考样本与测试样本的书写内容相同, 并且主要依靠内容相同的子图像进行比较. 虽然此种方法的鉴别准确率很高, 但是在实践中基于固定文本的笔迹鉴别有一定的局限性. 在文本独立的笔迹鉴别方法中样本的书写内容不受限制, 比文本依存方法更具有广泛的应用前景. 但是文本独立方法的鉴别准确性不高, 并需要大量的训练样本. 本文有效结合文本依存和文本独立两种方法的优点, 提出了一种基于混合码本与因子分析的文本独立笔迹鉴别算法. 文中首先从二值化的原始笔迹图像提取子图像并用描述符标注, 引入了混合码本的概念; 然后采用方向指数直方图法(Directional index histogram, DIH)和距离变换法(Distance transformation, DT)提取所有子图像的特征, 计算参考样本与测试样本中具有相同描述符的子图像之间的距离. 前期处理过程是典型的文本依存方法, 然而本文关注的重点不在于子图像的内容, 描述符只是为了快速检索相同内容的码本成员. 最后通过统计学中的双因子方差分析法(Two way analysis of variance, TW-ANOVA), 把影响鉴别精度的因素分为书写因子与字符因子, 利用因子分离方法实现了文本独立的笔迹鉴别分类器. 在分类决策层, 利用特征融合与多分类器组合的方式提高笔迹鉴别准确率. 在维吾尔文2016数据集、标准的IAM与Firemaker数据集上的实验结果表明, 本文的方法只需要极少的笔迹信息就能得到较好的鉴别结果, 算法运行时间短, 并且相关技术可以应用于其他语种的笔迹鉴别, 具有良好的应用前景和推广价值.

本文其余部分的安排如下: 第1节为相关领域的研究现状. 第2节详细描述了基于混合码本与因子分析的文本独立笔迹鉴别算法的流程. 第3节给出了在维吾尔文2016 数据集以及两个基准数据集上的实验结果与分析. 第4节给出了结论与展望.

图 1  混合码本生成与因子分析的总流程图

图 2  子图像的提取方法

图 4  单词“the”的加权方向指数直方图

本文提出了一种用于笔迹鉴别的混合码本模型, 为了提高相同代码之间的匹配率, 此码本包括很多冗余的子图像. 对于已生成的码本先利用因子分析法, 滤除与子图像内容相关的字符因素, 保留了书写因子. 然后利用加权指数直方图法和距离变换法提取特征, 在分类决策层采用了两种方法的组合模型提高了笔迹鉴别准确率. 此外, 本文利用荷兰文和英文数据集对该方法进行了评估, 并深入研究了码本大小和书写人数对实验结果的影响. 各类实验结果表明, 我们提出的算法对于内容不受限制且字数较少的样本是非常有效的, 并且通过增加码本中的子图像数量, 可以进一步提高笔迹鉴别效率. 与IAM和Firemaker数据集相比, 在维吾尔文2016数据集上的实验结果非常理想, 这一结果的主要原因是维吾尔文2016数据集上的样本内容丰富, 并且本文算法充分利用维吾尔语的优势, 生成的码本上有足够多的子图像. 子图像数量和长度是决定本文算法鉴别准确率的关键因素.

作者简介

阿依夏木·力提甫

武汉大学电子信息学院博士研究生. 2012年获得南京理工大学电光学院工学硕士学位. 主要研究方向为图像处理与模式识别. E-mail: Ayixia@whu.edu.cn

鄢煜尘

2009年于武汉大学获工学博士学位. 主要研究方向为图像处理与模式识别. E-mail: yyc@whu.edu.cn

肖进胜

武汉大学电子信息学院副教授. 2001年于武汉大学获理学博士学位. 主要研究方向为视频图像处理, 计算机视觉. E-mail: xiaojs@whu.edu.cn

江昊

博士, 武汉大学电子信息学院教授. 主要研究方向为移动自组网络, 移动大数据, 数据挖掘. 本文通信作者. E-mail: jh@whu.edu.cn

姚渭箐

国网湖北省电力有限公司信息通信公司工程师. 2017年于武汉大学获工学博士学位. 主要研究方向为网络通信, 视频图像处理. E-mail: ywq1005@whu.edu.cn