引用本文

赵慧敏, 郑建杰, 郭晨, 邓武. 基于流形正则化框架和MMD的域自适应BLS模型. 自动化学报, 2024, 50(7): 1458−1471 doi: 10.16383/j.aas.c210009

Zhao Hui-Min, Zheng Jian-Jie, Guo Chen, Deng Wu. Domain adaptive BLS model based on manifold regularization framework and MMD. Acta Automatica Sinica, 2024, 50(7): 1458−1471 doi: 10.16383/j.aas.c210009

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210009

关键词

宽度学习系统，流形正则化框架，最大均值差异，域自适应，图像分类 

摘要

宽度学习系统(Broad learning system, BLS)作为一种基于随机向量函数型网络(Random vector functionallink network, RVFLN)的高效增量学习系统, 具有快速自适应模型结构选择能力和高精度的特点. 但针对目标分类任务中有标签数据匮乏问题, 传统的BLS难以借助相关领域知识来提升目标域的分类效果, 为此提出一种基于流形正则化框架和最大均值差异(Maximum mean discrepancy, MMD)的域适应BLS (Domain adaptive BLS, DABLS)模型, 实现目标域无标签条件下的跨域图像分类. DABLS模型首先构造BLS的特征节点和增强节点, 从源域和目标域数据中有效提取特征; 再利用流形正则化框架构造拉普拉斯矩阵, 以探索目标域数据中的流形特性, 挖掘目标域数据的潜在信息. 然后基于迁移学习方法构建源域数据与目标域数据之间的MMD惩罚项, 以匹配源域和目标域之间的投影均值; 将特征节点、增强节点、MMD惩罚项和拉普拉斯矩阵相结合, 构造目标函数, 并采用岭回归分析法对其求解, 获得输出系数, 从而提高模型的跨域分类性能. 最后在不同图像数据集上进行大量的验证与对比实验, 结果表明DABLS在不同图像数据集上均能获得较好的跨域分类性能, 具有较强的泛化能力和较好的稳定性.

文章导读

神经网络的快速发展为准确、快速处理数据提供了方法. 目前, 神经网络已在图像处理、语音识别、故障诊断等众多领域获得广泛的应用, 尤其是反向传播网络(Back propagation, BP)以及深度玻尔兹曼机(Deep Boltzmann machine, DBM)[1]、卷积神经网络(Convolutional neural network, CNN)[2]、深度置信网络(Deep belief network, DBN)[3]、生成对抗网络(Generative adversarial network, GAN)[4]、递归神经网络(Recursive neural network, RNN)[5]等取得了很好的应用效果. 

反向传播神经网络结构较简单, 但存在迭代求解速度较慢且容易陷入局部极小值的问题; 深度神经网络作为多层神经网络, 具有精度高、超参数数量多且结构复杂的特点, 通常训练过程耗时过长. 为解决这一问题, Chen等[6]提出一种基于随机向量函数型网络(Random vector functional-link network, RVFLN)的宽度学习系统(Broad learning system, BLS), 继承RVFLN在线增量学习算法的优点并增加了映射层, 非常适合处理大数据, 并具有通用的逼近能力. 宽度学习首先将原始的输入数据经过一系列的随机映射, 形成特征节点矩阵; 然后在特征节点矩阵的基础上, 经过一系列的随机增强变换, 形成增强节点矩阵. 不同于深度学习, 该方法致力于神经网络的宽度拓展而非深度拓展来解决复杂问题, 不仅克服了深度学习训练过程耗时长的缺点, 还可快速增量构建网络模型. 因此, 宽度学习已得到学术界和工业界的广泛关注. Chen等[7]分析证明了宽度学习系统的通用逼近性能. Jin等[8]提出一种正则化鲁棒宽度学习系统, 实现了不确定数据建模, 提高了面向噪声数据的模型鲁棒性. 杨刚等[9]结合回声状态网络的储备池结构, 提出一种基于池计算的宽度学习系统, 提高了BLS的泛化能力和稳定性. 邹伟东等[10]构建基于压缩因子的宽度学习系统, 加快了收敛速度, 提高了泛化性能. Kong等[11]引入类概率结构, 设计了一种半监督宽度学习系统, 提高了模型的分类精度. 郑云飞等[12]引入p-范数作为损失函数, 提出一种基于最小p-范数的宽度学习系统, 增强了在复杂噪声情况下的抗干扰能力. Lin等[13]提出一种四元数宽度学习系统, 提高了系统的回归能力. 同时, 结构化流行宽度学习系统[14]、增量式Wishart宽度学习系统[15]、模糊宽度学习系统[16]、递归广义宽度学习系统[17]、加权宽度学习系统[18]、增量式贝叶斯框架宽度学习系统[19]、多视图宽度学习系统[20]等相继提出, 从不同角度提高了宽度学习系统的泛化性、收敛性和鲁棒性. 此外, Zhao等[21]提出一种基于流形正则化的半监督宽度学习系统, 扩展了宽度学习在半监督领域的应用. 

由于宽度学习系统具有通用逼近能力、良好的泛化性和较强的鲁棒性, 且具有时间记忆性与灵活重构性, BLS被普遍认为是一种极具前途的深度学习替代方法. 然而, 实际应用中的许多分类问题面临着目标分类中有标签数据匮乏的问题, 传统宽度学习系统难以借助相关领域知识来提升目标域分类效果. 针对这些问题, 本文充分利用基于流形正则化框架的半监督学习方法和基于最大均值差异的迁移学习方法的各自优势, 提出一种新的域自适应宽度学习系统, 旨在实现一种简单、高效的跨域分类模式, 提高模型在快速收敛、良好泛化能力基础上的跨域分类性能, 并通过图像分类来验证域自适应宽度学习模型的有效性. 

图 1  BLS的结构示意图

图 2  DABLS模型的算法流程

图 3  5种图像数据集样本 (第1行显示Office和Caltech256数据集,第2行显示MNIST, USPS和COIL20数据集(从左到右))

本文针对实际分类问题面临的有标签数据匮乏及传统宽度学习系统难以借助相关领域知识提升目标域分类精度问题, 将MMD惩罚项和流形正则化框架融入到BLS目标函数中, 提出一种域自适应BLS模型, 实现了BLS跨域分类能力的提升, 拓宽了BLS的应用领域. 采用MMD惩罚项能够匹配两域之间的投影均值来缩小两域数据之间的分布差异, 以提升模型泛化能力; 采用流形正则化框架揭示目标域的潜在信息, 提升模型对目标域的适应性. 选取USPS, MNIST, COIL20, Office, Caltech256, ImageNet和VOC2007公共数据集验证DABLS模型的性能, 实验结果表明, 无论在简单或复杂的迁移条件下, DABLS都能利用源域数据知识来提升模型在目标域下的分类效果, 并以较高的精度和效率实现图像的跨域分类, 表现出泛化能力强、计算效率高的特点. 与BLS、SS-BLS、TCA、CDELM和CD-CDBN模型的实验结果比较表明, DABLS模型具有较高的分类效率和较强的分类能力. 因此, DABLS为实现高精度和高效率的跨域图像分类提供一种新方法. 

作者简介

赵慧敏

中国民航大学电子信息与自动化学院教授. 主要研究方向为智能控制与信息处理, 深度学习与智能优化, 智能诊断与性能评估.E-mail: hm_zhao1977@126.com

郑建杰

首都师范大学心理学院博士研究生. 主要研究方向为宽度学习系统与图像处理, 人类脑图谱的构建和应用. E-mail: zheng853796151@126.com

郭晨

大连海事大学船舶电气工程学院教授. 主要研究方向为船舶自动控制系统, 智能控制理论与应用, 虚拟现实技术及应用. E-mail: dmuguoc@126.com

邓武

中国民航大学电子信息与自动化学院教授. 主要研究方向为智能优化与资源调度, 深度学习与智能诊断. 本文通信作者. E-mail: dw7689@163.com