drwuHUST的个人博客分享 http://blog.sciencenet.cn/u/drwuHUST

博文

TSK模糊系统回归模型的梯度下降训练新方法

已有 645 次阅读 2020-12-1 11:11 |个人分类:计算智能|系统分类:科研笔记

我们提出一种TSK模糊回归模型构建的新方法,FCM-RDpA (Fuzzy C-Means Clustering, Regularization, DropRule, and Powerball AdaBelief)。其主要思想是从结构选择、参数初始化以及参数优化三个方面来对当前最优的MBGD-RDA (mini-batch gradient descent with regularization, DropRule, and AdaBound)方法进行加强,如下图所示:

RDpA1.png

1)结构选择:MBGD-RDA主要针对的是参数共享隶属度结构,此时规则数等于各特征上隶属度函数个数的累乘,因而不适合处理高维度数据。由此FCM-RDpA主要针对参数独立隶属度结构(每条规则的隶属度参数都独立进行初始化及优化),如下图所示:

RDpA2.png

2)参数初始化:选定结构后就要进行参数初始化。MBGD-RDA使用半随机的网格划分方法进行初始化,FCM-RDpA使用的是模糊C均值聚类进行初始化(我们也尝试了随机初始化以及k均值初始化,不同初始化方法在规则数较多时没有明显差异,但模糊C均值聚类在规则数较少时表现最好)。

3)参数优化:同MBGD-RDA一样,FCM-RDpA也使用小批量梯度下降、正则化以及DropRule以计算梯度,但把AdaBound优化方法替换为Powerball AdaBelief以更新参数。Powerball梯度方法在不改变梯度符号的前提下对梯度加上小数次幂以减轻离群点带来的梯度爆炸问题(因为TSK回归模型较深度神经网络而言较浅,故不考虑深度模型层层反传导致的梯度消失问题)。不同于AdaBound方法设置仅依赖于迭代次数的学习率的上下界,AdaBelief方法考虑了损失函数本身的曲率信息,并基于对观察到梯度的置信度自适应调整学习率。FCM-RDpA首次结合Powerball梯度与AdaBelief方法,并将其用于TSK回归模糊系统参数优化。

我们在22个回归数据集上比较了如下6种算法:

RDpA3.png

其平均标准化(基于岭回归)测试集均方根误差随规则数的变化如下图所示:

RDpA4.png

结果验证了我们提出的FCM-RDpA算法的有效性。

我们还提出一种FCM-RDpAx方法以增强FCM-RDpA,其主要思想是在规则前件与后件的输入中拼接上原始特征的线性组合,并分别基于前件与后件的梯度进行学习。

我们在22个回归数据集上比较了如下6种算法:

RDpA5.png

其平均标准化(基于岭回归)测试集均方根误差随规则数的变化如下图所示:

RDpA6.png

结果验证了我们提出的FCM-RDpAx算法的有效性。


原文下载:RDpA_TFS_Shi.pdf

arXiv: http://arxiv.org/abs/2012.00060

代码:https://github.com/ZhenhuaShi/FCM-RDpA





http://blog.sciencenet.cn/blog-3418535-1260629.html

上一篇:迁移学习中的负迁移:综述
下一篇:基于生理信号的情感计算研究综述

0

发表评论 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-1-21 06:31

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部