引用本文

莫建文, 贾鹏. 基于梯形网络和改进三训练法的半监督分类. 自动化学报, 2022, 48(8): 2088−2096 doi: 10.16383/j.aas.c190869

Mo Jian-Wen, Jia Peng. Semi-supervised classification model based on ladder network and improved tri-training. Acta Automatica Sinica, 2022, 48(8): 2088−2096 doi: 10.16383/j.aas.c190869

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190869

关键词

梯形网络，改进的三训练法，半监督学习，Large-margin Softmax分类器 

摘要

为了提高半监督深层生成模型的分类性能, 提出一种基于梯形网络和改进三训练法的半监督分类模型. 该模型在梯形网络框架有噪编码器的最高层添加3个分类器, 结合改进的三训练法提高图像分类性能. 首先, 用基于类别抽样的方法将有标记数据分为3份, 模型以有标记数据的标签误差和未标记数据的重构误差相结合的方式调整参数, 训练得到3个Large-margin Softmax分类器; 接着, 用改进的三训练法对未标记数据添加伪标签, 并对新的标记数据分配不同权重, 扩充训练集; 最后, 利用扩充的训练集更新模型. 训练完成后, 对分类器进行加权投票, 得到分类结果. 模型得到的梯形网络的特征有更好的低维流形表示, 可以有效地避免因为样本数据分布不均而导致的分类误差, 增强泛化能力. 模型分别在MNIST数据库, SVHN数据库和CIFAR10数据库上进行实验, 并且与其他半监督深层生成模型进行了比较, 结果表明本文所提出的模型得到了更高的分类精度.

文章导读

在实际工作中, 获取标记数据需要花费大量的财力物力, 而未标记数据的获取往往更容易, 因此半监督学习应运而生. 利用少量有标记数据和大量无标记数据一同指导训练过程, 提高分类器的性能. 对于传统的半监督分类学习算法如自训练(Self-training)、TSVM (Transduced support vector machines)、EM (Expectation maximization)算法等, 由于其简单易实现使得半监督分类学习得到推广, 同时也由于其误差较大, 使得研究学者在提高分类性能的道路上不断探索新的半监督分类学习方法[1]. 例如Chau等[2]结合自训练提出Tri-Forest算法, 解决了课堂级学生分类的问题, Lu等[3]结合随机森林提出了Rotation Forest, 提高特征的多样性, 以及Cheung等[4]结合正则化参数的自训练方法提出STAR-SVM (Self-training with adaptive regularization for SVM), 解决了某些数据集预测性较差的问题.

随着深度学习的发展, 深层生成模型以其强大的拟合能力、表征能力及灵活性等优点, 在半监督分类学习中得到广泛应用. 主流的生成模型有自回归模型[5]; 深层卷积神经网络[6]; 生成对抗网络(Generative adversarial network, GAN)[7]等, 对深层生成模型的研究可以提高网络对更深层次图像特征的学习能力, 避免模型陷入局部最优. 近年来, 许多研究学者通过优化网络结构来构建的半监督分类学习框架都能取得不错的分类效果. 如Springenberg等[8]从损失函数的角度对网络优化, 提出CAT-GAN (Categorical GAN), 它改变了网络的训练误差, 通过正则化信息最大化的框架提高了模型的鲁棒性. Salimans等[9]从判别器角度对网络优化, 提出Improved-GAN, 它在判别器后接一个分类器, 训练网络后得到的分类判别器可以直接将数据分为原始图像类别和生成图像类别, 提高了生成样本质量和模型的稳定性. Fu等[10]从生成器的角度对网络优化, 提出SSE-GAN (Semi-supervised encoder GAN), 它在生成器对应位置添加一个编码器, 直接获得原始数据的特征变量用于分类, 进一步提高模型分类精度. 有研究学者通过将优化的分类算法与深层生成模型相结合, 也能得到很好的分类效果. 如Pezeshki等[11]提出的含有两个编码器和一个解码器的梯形网络. 它能够将与有监督分类有关的信息和与无监督重构有关的信息分开, 但是同时又能利用到这些信息. 之后, Rasmus等[12]在此工作的基础上提出了梯形网络与半监督学习的算法, 在无监督梯形网络编码的最高层添加分类器, 这样将无监督网络和有监督网络结合起来, 通过对有监督和无监督损失函数总和的最小化反向传播优化网络参数, 来实现半监督学习. Zhao等[13]提出将层次变分自编码器用于梯形网络中, 这种层次化的模型, 可以学习到更丰富的特征, 并用于可视化直观显示. 还有研究学者通过组合多个分类器、编辑伪标签、多样性增强的方法[14-15], 能够得到质量更好的伪标签去训练分类器. 但是, 这些半监督的方法未能够充分讨论未标记数据对分类结果的影响.

为了提高半监督深层生成模型的分类性能, 本文在梯形网络框架的基础上, 分析了不同编解码器网络结构与提取到特征之间的联系, 并进一步讨论了分类器损失函数对模型分类精度的影响, 提出一种基于梯形网络和改进三训练法的半监督分类模型(Ladder network and tri-training semi-supervised classification, LN-TT SSC). 该模型在梯形网络框架有噪编码器的最高层添加3个分类器, 结合改进的三训练法提高图像分类性能. 首先, 用基于类别抽样的方法将有标记数据分为3份, 结合未标记数据一同传入改进的梯形网络中, 训练得到3个Large-margin Softmax基础分类器; 然后, 用改进的三训练法对未标记数据预测, 添加伪标签, 对筛选得到的新的标记数据分配不同权重后, 扩充初始训练集, 更新基础分类器; 最后, 对训练完成的分类器进行加权投票, 得到最终结果.

图 1  LN-TT SSC模型

图 2  MNIST数据的流行表示图

为了进一步提高半监督分类模型的精度, 本文将梯形网络框架与三训练算法相结合, 提出了基于梯形网络和三训练法的半监督分类模型. LN-TT SSC模型相对其他方法有以下几点优势: 1)利用VGG等深层神经网络和Large-Margin Softmax损失结合的模式, 使网络具有更强的学习能力, 并且对特征有更好的低维流形表示, 直观上更容易分析数据分布规律; 2)利用了梯形网络的优势, 通过对有监督和无监督损失函数总和的最小化来反向传播优化网络参数, 得到基础分类器的分类性能更好; 3)采用改进的三训练法对未标记数据预测, 标注伪标签、筛选得到的新的标记数据更具代表性. 实验表明针对不同复杂程度的图像数据, LN-TT SSC模型均可利用少量的有标记数据训练得到更高的分类精度. 同时LN-TT SSC模型也有一定的不足, 在用改进三训练法对未标记数据预测时, 超参数的取值需要人为调试, 对最终的结果有一定的影响, 在以后的工作中需要继续研究. 与其他半监督生成模型一样, LN-TT SSC模型也存在参数过多的问题, 这导致训练过程较为耗时, 在之后的工作中也会继续研究如何能够保证分类精度的同时又能有效地减少训练时间.

作者简介

莫建文

桂林电子科技大学信息与通信学院副教授. 主要研究方向为机器视觉, 智能图像处理. 本文通信作者. E-mail: mo_jianwen@126.com

贾鹏

桂林电子科技大学信息与通信学院硕士研究生. 主要研究方向为智能图像处理. E-mail: jiapeng_jay@163.com