drwuHUST的个人博客分享 http://blog.sciencenet.cn/u/drwuHUST

博文

TSK模糊系统与神经网络、混合专家模型、分类回归树CART、stacking集成学习的等价性

已有 794 次阅读 2019-8-17 10:41 |个人分类:计算智能|系统分类:论文交流

基于规则的模糊系统已经在很多问题中得到了成功应用,特别是控制和决策。其最大的优点是可解释性,即整个系统是基于规则构建的,而每一条规则都可以直观地理解。当然,随着现在数据驱动建模方法的流行,模糊系统规则也变得越来越复杂和难以理解。这不是本文的重点,不再详述。

模糊集最早由加州大学伯克利分校Zadeh教授于1965年提出(Zadeh因为在模糊集和模糊系统方面的开创性贡献,获得了1995年的IEEE Medal of Honor,相当于电子工程方向的诺贝尔奖),如下图1(a)X所示。模糊集主要是用来建模人类语言中的不确定现象。比如,我们说温度35度以上为“高温”,那么根据经典二值逻辑,气温34.9度就不能算是“高温”。显然,这有悖于人们的直观感受:34.9度跟35度在感觉上又有多少区别呢?所以,34.9度也应该算作“高温”,只是它属于“高温”这个概念的隶属度不为1,而是略小于1的一个值,比如0.950.99. 同理,34.5度也应该算作“高温”,只是它的隶属度比34.9度要稍低一些。所有等于或高于35度的温度都完全属于“高温”,即隶属度为1. 在下图1(a)中,u_X(x)代表的即是x属于模糊集X的隶属度函数,为[0,1]之间的值。图1(b)Zadeh经典模糊集的一个推广,称为区间二型模糊集,也由Zadeh1975年提出,并由美国南加州大学Mendel教授(本人博士导师)在2000年左右发扬光大,成为目前模糊系统中最热门的研究方向之一。我自己的博士工作主要也集中在区间二型模糊集上面,这里不做详述。感兴趣的读者可以在这里下载我写的一个简单示例和教程:https://www.mathworks.com/matlabcentral/fileexchange/29006-functions-for-interval-type-2-fuzzy-logic-systems

FS.png

模糊系统常用的有两种规则:Zadeh规则,其中规则后置是模糊集,和Takagi-Sugeno-Kang (简称TSKSugeno为日本东京工业大学教授)规则,其中模糊后置是输入的函数。一个TSK规则通常具有如下形式:

TSK.png

其中x_1, …, x_dd维的输入,X_{k,1}, …, X_{k,d} 为第k条规则中各个输入对应的模糊集(这些模糊集可以随规则不同而变化),y_k(x)为该规则的输出,它是关于输入的一个线性函数(也可以是复杂的非线性函数,但是线性函数用得最多;有时候y_k(x)就是一个简单的常数,即只使用b_k)。

Zadeh模糊系统(也称为Mamdani模糊系统。Mamdani为英国帝国理工学院教授,因为1975年最早把模糊系统成功应用于控制而带来了模糊控制的繁荣,从某种意义上说,Mamdani拯救了模糊系统)由4个部分组成:模糊化,规则库,推理机,和去模糊化。模糊化把每个输入映射成模糊集,推理机基于规则库进行推理来得到一个新的模糊集,然后去模糊化把模糊集映射成一个数值化输出。

TSK模糊系统不需要去模糊化,因为推理机的输出直接就是清晰的数值。近年来,TSK模糊系统比Zadeh模糊系统更为流行,因为其结构和计算更简单,但是表达能力更强,尤其适用于数据驱动的建模。

FLS.png

构建一个性能良好的模糊系统并不是一件容易的事情,有很多挑战,比如:

1.      优化。模糊系统可以通过进化算法、梯度下降、梯度下降+最小二乘(比如很流行的ANFIS方法,原文已经被引用15000多次)等方法优化。然而,每种优化方法都有其不足之处:进化算法运算代价很高,不适合大数据应用;传统的梯度下降方法对学习参数很敏感;ANFIS很容易导致过拟合。所以,有必要开发更有效和快速的模糊系统优化算法,特别是针对大数据的应用。

2.      可解释性。如本文开头所提到的,可解释性是模糊系统区别于其他机器学习方法的最显著特征。但是,可解释性随着规则数增多而迅速下降。如何在保持模糊系统性能的基础上提高可解释性,是研究难点之一。

3.      维度诅咒。传统的基于网格划分构造的模糊系统的规则数目随着输入维度的增加而呈指数倍增加,因而很难应用于高维数据。基于聚类初始化的模糊系统能在一定程度上解决规则数目爆炸的问题,但是聚类本身也有维度诅咒的问题。而且,随着输入数增多,规则也变得很难解释。

4.      泛化性能。任何机器学习模型都不是只追求训练性能;更重要的泛化能力,即在未见过的数据上面的表现。提高机器学习模型泛化能力的一个重要方法是正则化,但是目前模糊系统中正则化用得还比较少。

ANFIS.png

本研究全面深入地探索了TSK模糊系统与神经网络、混合专家模型、分类回归树CARTstacking集成学习的等价性,并指出通过借鉴这些等价机器学习方法,可能可以克服上面提到的四个挑战:

1.      优化。受模糊系统与神经网络等价性的启发,我们最近的工作把深度学习里面的一些优化技巧,比如Mini-BatchAdamAdaBound)、DropOutBatch Normalization等推广到了模糊系统优化中,取得了很好的效果,后面会有博文详细介绍。

2.      可解释性。受模糊系统与混合专家模型(Mixture of Experts, MoE)等价性的启发,我们最近的工作设计了一个新颖有效的正则化项,提高了模糊系统的训练速度和泛化能力。后面会有博文详细介绍。

3.      维度诅咒。受模糊系统与CART等价性的启发,已经有很多研究者用CART生成的规则来更好地初始化模糊系统的规则。我们也在进行这方面的进一步探索。

4.      泛化性能。众所周知,集成学习的泛化能力很强。受模糊系统与stacking集成学习等价性的启发,我们正在研究提高模糊系统泛化能力的方法。

MoE.png

CART.pngfCART.pngstacking.png


本工作由华中科技大学人工智能与自动化学院伍冬睿教授(IEEE模糊系统汇刊副编,2011-2018)、黄剑教授(IEEE模糊系统汇刊副编,2019-)、曾志刚教授(IEEE模糊系统汇刊副编,2016-)和澳大利亚悉尼科技大学Chin-Teng Lin教授(IEEE模糊系统汇刊主编,2011-2016)共同完成。目前在IEEE 模糊系统汇刊IF=8.759)审稿中。

D. Wu, C-T Lin, J. Huang and Z. Zeng, "On the Functional Equivalence of TSK Fuzzy Systems to Neural Networks, Mixture of Experts, CART, and Stacking Ensemble Regression," IEEE Transactions on Fuzzy Systems, 2019, submitted.

arXiv版本:https://arxiv.org/abs/1903.10572




http://blog.sciencenet.cn/blog-3418535-1193993.html

上一篇:情感计算数据标注中的多任务主动学习
下一篇:基于多任务深度学习和动态规划的试管婴儿胚胎细胞发育阶段自动分类

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...