引用本文

顾晓清, 倪彤光, 张聪, 戴臣超, 王洪元.结构辨识和参数优化协同学习的概率TSK模糊系统.自动化学报, 2021, 47(2): 349-362 doi: 10.16383/j.aas.c180298

Gu Xiao-Qing, Ni Tong-Guang, Zhang Cong, Dai Chen-Chao, Wang Hong-Yuan. Probabilistic TSK fuzzy system in the simultaneous learning of structure identiflcation and parameter optimization. Acta Automatica Sinica, 2021, 47(2): 349-362 doi: 10.16383/j.aas.c180298

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180298

关键词

Takagi-Sugeno-Kang模糊系统，概率模型，回归，粒子滤波 

摘要

传统Takagi-Sugeno-Kang (TSK)模糊系统的结构辨识和参数优化往往分阶段进行, 同时模糊规则数需要预先设定, 因此TSK模糊系统的逼近性能和解释性往往不理想.针对此问题, 提出了一种结构辨识和参数优化协同学习的概率TSK模糊系统(Probabilistic TSK fuzzy system, PTSK).首先, PTSK使用概率模型表示模糊回归系统, 将结构辨识和参数优化作为一个整体来考虑.其次, PTSK不借助于专家经验, 使用粒子滤波方法对规则数和前后件参数协同学习, 得到系统全部参数的最优解.实验结果表明, PTSK具有良好的逼近性能, 同时能获得较少的模糊规则数.

文章导读

模糊推理系统(Fuzzy inference system, FIS)以模糊集合和模糊推理为基础, 能够将自然语言直接转译成计算机语言, 使得机器具有表达模糊语意的能力, 目前被广泛应用在时间序列分析、工业控制和故障诊断等方面[1-2].相比大多数智能模型, FIS的优势在于: 1) FIS具有很强的面向不确定系统的构建能力, 能模拟人类专家知识和推理的不确定性; 2)不像SVM和神经网络等被视为一个黑箱, FIS具有良好的基于规则的解释性; 3) FIS具有强大的学习能力, 能利用模糊逻辑较强的结构性知识表达, 也可以像神经网络等模型一样利用数据集信息对模型参数进行优化学习.由Takagi, Sugeno和Kang提出的Takagi-Sugeno-Kang (TSK)模糊系统, 又称TSK模糊模型, 因其结构简单和逼近能力强, 是一种常用的FIS工具[2]. TSK模糊系统使用具有解释性的"IF-THEN"规则来定义系统的规则库, 规则库的构建工作由2部分组成:规则结构的辨识和规则参数的优化.规则结构的辨识指为系统的输入空间找到合适的模糊划分; 规则参数的优化则指确定模糊规则前件和后件的参数.其中, 选择合适的模糊规则数是结构辨识的核心工作[3].模糊规则数过多会导致模糊系统复杂化, 易产生过拟合现象; 模糊规则数过少则导致系统逼近性能不佳.

目前, 确定模糊规则数最简单的方法是基于网格的输入空间划分法.特征数是d的数据集, 如使用固定m网格的输入空间划分法, 共提取到md条模糊规则数.显然这一方法不适用于高维数据[4].确定模糊规则数的另一类常用方法是聚类算法[5-6], 聚类法TSK模糊系统的一大优点是能获得较小规模的规则数, 但模糊规则数往往需要预先设定, 如文献[5-7]使用交叉验证的方法获得模糊规则数的最优值.虽然一些聚类有效性指标如Xie-Beni指标和Mountainpotential指标等能用于聚类数的选择, 但这些有效性指标用于确定模糊规则数时往往效果不佳[8].此外, 聚类法TSK模糊系统在优化模糊规则的前件和后件参数时往往分阶段计算, 这种学习策略的优点是时间复杂度相对较低, 但其存在一个严重的缺陷:无法捕捉输入空间和输出空间之间的内在联系, 因此得到的TSK模糊系统的逼近性能往往达不到最优.为解决这一问题, 近年来一些学者开始研究前件和后件参数的联合学习方法, 如文献[9]使用迭代线性支持向量回归机来联合学习前件和后件参数, 文献[10]建立了前件和后件参数联合学习的贝叶斯推理模型, 并使用Metropolis-Hastings (MH)采样方法求解参数的最优解.然而这两个算法仍需事先设定模糊规则数.

众所周知, 模糊理论和概率模型是常用于描述复杂问题不确定的两类方法.但两者的侧重点不同:模糊理论能较好地描述自然语言的不确定性, 即语义的不确定性; 概率模型能较好地描述由系统固有偶然性或变异性带来的随机不确定性, 即系统性能或预测结果的不确定性[11]. Zadeh在文献[11]中首次提出了"概率和模糊互补多于竞争"这一思想, 认为两者通过协同学习可以提高系统的性能.受这一思想启发, 本文提出了一种结构辨识和参数优化协同学习的概率TSK模糊系统(Probabilistic TSK fuzzy system, PTSK). PTSK的核心思想是将数据的输入/输出空间、系统结构和规则参数作为一个整体来考虑, 并基于概率理论使用概率模型来构建模糊回归系统.不借助于专家经验, 基于最大后验概率估计(Maximum-a-posteriori, MAP), PTSK使用粒子滤波方法[12]同时得到模糊规则数、规则前件/后件参数的最优解. PTSK模糊系统的优点有: 1)以一种协同学习的形式构建了基于概率模型的TSK模糊系统.该系统兼具统计学和模糊逻辑的优点, 能有效处理非线性回归问题. 2)不同于传统聚类法TSK模糊系统使用"黑盒"策略(如网格搜索法)优化模糊规则数的方法, PTSK无需任何专家经验, 使用粒子滤波方法能自动学习模糊规则的所有参数. 3) PTSK充分挖掘数据集的整体特征, 同时考虑输入空间和输出空间对模糊规则参数的影响.实验结果表明PTSK兼具强解释性和良好逼近性能的特点.

图1 PTSK结构辨识和参数优化的协同学习示意图

图2 PTSK在mexihat数据集上的实验结果

图3 PTSK在mexihat数据集上得到的模糊集示意图

本文使用概率模型构建了一种新的概率TSK模糊系统PTSK.在模糊和概率理论的协同工作模式下, PTSK建立了结构辨识和参数优化的协同学习机制.该学习机制将TSK模糊系统的构建视为一个整体, 能充分挖掘输入空间和输出空间之间的内在联系. PTSK基于最大后验概率估计, 使用粒子滤波同时求得模糊规则数和前后件参数的最优解, 解决了传统聚类法TSK模糊系统分阶段求解参数和模糊规则数需预先设定的问题.实验结果表明PTSK的逼近性能和模糊规则数均取得了令人满意的结果.应当指出, 本文算法仍存在一些不足之处, 例如, 在大规模样本的回归问题中, PTSK的时间效率还有待提高; 另外, PTSK能否有效处理带噪声的回归数据亦没有进行探讨, 这将作为我们近期的研究重点.

作者简介

顾晓清

常州大学信息科学与工程学院副教授. 2017年获江南大学博士学位.主要研究方向为模式识别和机器学习.E-mail:czxqgu@163.com

张聪

常州大学信息科学与工程学院硕士研究生.主要研究方向为模糊理论.E-mail:18000052@smail.cczu.edu.cn

戴臣超

常州大学信息科学与工程学院硕士研究生.主要研究方向为机器学习.E-mail:17000138@smail.cczu.edu.cn

王洪元

常州大学信息科学与工程学院教授. 2004年获南京理工大学博士学位.主要研究方向为人工智能.E-mail:hywang@cczu.edu.cn

倪彤光

常州大学信息科学与工程学院副教授. 2014年获江南大学博士学位.主要研究方向为人工智能.本文通信作者. E-mail:hbxtntg-12@163.com