drwuHUST的个人博客分享 http://blog.sciencenet.cn/u/drwuHUST

博文

Patch Learning (PL)

已有 783 次阅读 2019-8-14 07:58 |个人分类:机器学习|系统分类:论文交流

机器学习是目前人工智能中最热门的研究方向之一,在很多领域都得到了成功应用。但是,训练一个好的机器学习模型并不是一件容易的事情。一般我们从最简单的模型开始,如果性能不满足要求,那么就需要想办法继续提高。一般有如下途径:

1.  训练一个更深的模型。比如,对神经网络来说,当多层感知机的性能不能满足要求时,可以考虑深层神经网络(深度学习)。对模糊系统来说,传统模糊系统性能不能满足要求时,可以考虑多层模糊系统(Hierarchical fuzzy systems)。

2.  训练一个更宽的模型。比如,对神经网络来说,当多层感知机的性能不能满足要求时,可以考虑宽度神经网络(Broad learning system),即在隐藏层增加更多的节点。对模糊系统来说,可以考虑更多的隶属度函数或规则。

3.  使用更加非线性的模型。比如,可以用非线性回归代替线性回归,或者在TSK模糊系统的后置中引入非线性项,或者用二型模糊系统代替一型模糊系统。实际上,更深或更宽的模型一般也是更加非线性的模型。

4.  并行融合多个简单模型。这是集成学习的基本思路之一。最常见的方法是随机森林。

5.  串行融合多个简单模型。这是集成学习的另一个基本思路。最常见的方法是AdaBoost。                                        clip_image001.png

本研究中,我们提出了patch learning (PL),如图1(c)所示。PL融合了并行和串行集成学习,包含3个步骤:

1.  使用所有训练数据训练一个全局模型;

2.  找出输入空间中全局模型表现不好的若干块(称为patch),对每块单独训练一个局部模型;

3.  从训练数据中去掉已经被局部模型用过的数据,用剩下的所有数据更新全局模型。

patches.png

在PL训练完成后,我们会得到若干个局部模型(需要记下局部模型对应patch的位置),和一个全局模型。如何使用PL模型?对于一个新的输入:

1.  检查该输入是否位于某个patch中;如果是,则调用该patch对应的局部模型进行处理;

2.  如果该输入不属于任何一个patch,那么调用更新后的全局模型进行处理。

PLflowchart.png

PL的一个简单示例如下图所示。

 

PLexample.png

我们提出了PL的理论,给出了基于TSK模糊系统进行PL回归的完整算法,并在5个实验中证实在模型数目相等的情形下,PL比Bagging和LSBoost性能更好。然而,PL还有很多需要进一步研究和完善的地方:

1.  如何自动找出patch位置?目前我们的方法依赖于模糊系统,但是希望能有更一般性的方法。

2.  如何动态地产生patch?目前所有的patch都是从最开始的全局模型产生,但是更好的方法可能是产生一个新的patch局部模型后,马上更新全局模型,然后找出其中表现不好的部分,再产生下一个patch。

3.  如何保证模型在patch边缘的连续性?因为在patch边缘,会从一个局部模型切换到另一个局部模型,或全局模型,所以很容易出现不连续性。

4.  如何处理高维数据?高维空间中,每个patch内部的训练数据会很少,导致patch局部模型无法被充分训练。

总之,我们认为PL是一个新的机器学习方向,有很多值得进一步研究的地方。

 

本工作由华中科技大学人工智能与自动化学院脑机接口与机器学习实验室伍冬睿教授和美国南加州大学Jerry Mendel教授共同完成,伍冬睿为第一作者和通讯作者,发表于IEEE Transactions on Fuzzy Systems(IF=8.759)。全文请见:

D. Wu and J.M. Mendel, "Patch Learning," IEEE Transactions on Fuzzy Systems, 2019, accepted.

或arXiv版本:https://arxiv.org/abs/1906.00158

Matlab代码:https://github.com/drwuHUST/Patch-Learning

 

 




http://blog.sciencenet.cn/blog-3418535-1193549.html


下一篇:基于贪婪采样的回归主动学习方法

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-10-18 14:18

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部