drwuHUST的个人博客分享 http://blog.sciencenet.cn/u/drwuHUST

博文

迁移学习中的联合概率判别MMD度量

已有 1100 次阅读 2020-4-11 23:46 |个人分类:机器学习|系统分类:科研笔记

  在数据驱动的机器学习时代,构建泛化能力强的模型需要大量规范、带标注的数据,而数据打标往往代价昂贵且费时,因此对已有的数据和模型进行重用很有必要。传统的机器学习假设这些数据服从相同分布,不再成立。迁移学习 (Transfer Learning) 可以基于不同分布的源域数据进行知识迁移,实现对目标域数据的标定。著名学者吴恩达在 NIPS 2016 Tutorial 上曾表示:在监督学习之后,迁移学习将引领下一波机器学习技术商业化浪潮

  迁移学习目前主要考虑源域和目标域存在的四种情况:不同的特征空间、标签空间、边际概率分布以及条件概率分布。其中大部分研究关注于相同特征空间和标签空间下的概率分布不一致问题。主要的方法有,基于样本加权、特征变换、模型参数和相互关系的迁移,而基于特征变换的迁移对数据的先验假设最弱,是目前研究较多的方向。特征变换迁移学习主要关注最小化不同域的概率分布差异,最大均值差异 (Maximum Mean Discrepancy, MMD) 是其中最常用的分布差异度量。

  传统MMD度量为边际概率MMD和条件概率MMD的求和 (Joint MMD) 或者加权 (Balanced MMD),本文提出了一种基于联合概率的判别MMD度量 (DJP-MMD),其主要优点为:

1. 相比于边际概率与条件概率加权的形式,其估计分布差异理论基础更加合理;

2. 在特征变换过程中兼顾了迁移性和判别性的提高。

  基于联合概率的判别MMD度量和传统MMD度量的主要区别如下图。传统MMD (joint MMD为代表) 假设不同域的边际和条件概率分布不同,主要关注最小化不同域的边际概率MMD差异,以及不同域同一类的条件概率MMD差异,仅仅考虑了迁移性。而联合概率判别MMD度量 (DJP-MMD) 的假设是不同域的联合概率分布不同,通过对联合概率公式的分解,最小化不同域同类别的联合概率分布差异,以及最大化不同类别间的差异,以实现对传统MMD度量的改进。

      JPDA1.png

  为了验证DJP-MMD的效果,我们采用了将DJP-MMD和最常见的几种基于MMD的迁移学习TCAJDABDA共同采用的框架 (正则项加PCA约束项) 融合,并将其命名为 Joint Probability Domain Adaptation (JPDA)。我们在6个图像识别数据集上面验证了JPDA的性能,JPDA 的表现几乎总是优于JDA或者BDA


JPDA3.png

JPDA2.png

  下图展示了在人脸识别数据集Multi-PIE数据集上,随着迭代次数的增加,MMD距离和Acc变换的曲线,可以看出,DJP-MMD确实进一步减小了分布差异,并提高了迁移学习的效果。

JPDA4.png

  我们也进行了一些时间复杂度测试以及分割实验,结果表明DJP-MMDJPDA框架中时间复杂度相对更低,且基于联合概率的度量的效果优于基于边际和条件的度量。目前该工作还需要在更复杂的框架,比如深度迁移学习中验证其有效性。

  

  本工作由华中科技大学人工智能与自动化学院博士生张稳和伍冬睿教授共同完成,发表在 IJCNN 2020

 Wen Zhang, Dongrui Wu. “Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation”, Int'l Joint Conf. on Neural Networks (IJCNN), Glasgow, UK, 2020.

arXiv: https://arxiv.org/abs/1912.00320

code: https://github.com/chamwen/JPDA

 




http://blog.sciencenet.cn/blog-3418535-1227915.html

上一篇:集成学习新方法:BoostTree与BoostForest
下一篇:非侵入式脑机接口中的迁移学习综述(2016-2020)

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-9-30 08:13

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部