引用本文

赵文迪, 陈德旺, 卓永强, 黄允浒. 深度神经模糊系统算法及其回归应用. 自动化学报, 2020, 46(11): 2350−2358 doi: 10.16383/j.aas.c200100

Zhao Wen-Di, Chen De-Wang, Zhuo Yong-Qiang, Huang Yun-Hu. Deep neural fuzzy system algorithm and its regression application. Acta Automatica Sinica, 2020, 46(11): 2350−2358 doi: 10.16383/j.aas.c200100

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200100

关键词

高维大数据，深度神经模糊系统，自适应神经模糊系统，分层结构，可解释性 

摘要

深度神经网络是人工智能的热点, 可以很好处理高维大数据, 却有可解释性差的不足. 通过IF-THEN规则构建的模糊系统, 具有可解释性强的优点, 但在处理高维大数据时会遇到“维数灾难”问题. 本文提出一种基于ANFIS (Adaptive network based fuzzy inference system)的深度神经模糊系统(Deep neural fuzzy system, DNFS)及两种基于分块和分层的启发式实现算法: DNFS1和DNFS2. 通过四个面向回归应用的数据集的测试, 我们发现: 1)采用分块、分层学习的DNFS在准确度与可解释性上优于BP、RBF、GRNN等传统浅层神经网络算法, 也优于LSTM和DBN等深度神经网络算法; 2)在低维问题中, DNFS1具有一定优势; 3)在面对高维问题时, DNFS2表现更为突出. 本文的研究结果表明DNFS是一种新型深度学习方法, 不仅可解释性好, 而且能有效解决处理高维数据时模糊规则数目爆炸的问题, 具有很好的发展前景.

文章导读

1943年Mcclloch与Pitts首次提出人工神经元数理模型(MP模型)[1], 开启了人工神经网络的研究. 1958年, Rosenblatt提出感知器Perceptron[2], 可以自学习实现分类, 引发了第一次神经网络热潮. 1969年, Minsky和Papert出版的 Perceptrons 一书指出简单线性感知器的功能有限性, 给予人工神经元网络研究沉重打击, 使得神经网络陷入10 年低潮期[3]. 1982年Hopfiled提出Hopfiled模型理论[4], 使人工神经网络的构造和学习有了理论指导, 再次激起学者们对神经网络的研究热情[5]. 1986年, Rumelhart 等用BP算法解决了 Perceptrons 一书中关于神经网络局限性的问题[6], 此后获得了快速发展. 但是, 1995年随着SVM及统计学习的兴起[7], 神经网络再次陷入低潮期. 2006年, Hinton提出深层网络训练中梯度消失问题的解决方案, 并在Science上发表论文, 正式提出深度学习[8]. 此后随着GPU不断进步, 计算能力的不断提高, 深度神经网络的应用快速增加. 2015年, LeCun等在Nature上撰文, 总结了DNN的大量成功应用, 尽管存在可解释性差的不足[9]. 2017年, Hinton等又提出了胶囊网络(Capsule)[10], 可解释性有所提高, 并在MNIST数据集上取得更好的效果. 自此, 深度神经网络(DNN)研究[11-13]及应用进入爆发期, 在语音识别、图像处理[14]、自然语言处理[15]方面取得突破性进展, 带动巨大智能产业应用.

目前, 虽然DNN得到广泛应用并取得良好的效果, 但存在模型计算量庞大、模型验证复杂、可解释性差等缺点. 而模糊系统通过一系列IF-THEN规则进行构建, 可解释性较强. 1965年, Zadeh教授发表了开创性论文“Fuzzy sets”[16], 标志着模糊系统理论的诞生. 1975年, Mamdani基于该理论构建了模糊控制器, 成功应用于锅炉蒸汽机控制[17]. 1992年Wang证明了模糊系统具有通用逼近性[18], 并与Mendel提出WM方法[19], 可从数据中自动产生出模糊系统, 但缺乏模型参数自学习能力, 1993年, Jang提出自适应神经模糊系统(Adaptive network-based fuzzy inference system, ANFIS)[20], 使模糊系统具有较强的学习能力, 推动了模糊系统的发展.

模糊系统在处理低维小数据时具有较高的精度, 并得到较为广泛的应用[21], 但处理高维大数据时模糊系统往往面临 “维数灾难”问题. 为适应大数据模糊系统, 目前研究主要采用降维, 减少规则数等方式进行改进, 虽然具有一定可行性, 但模型精度明显下降, 难以真正解决高维问题.

我们认为深度学习不仅仅包括深度神经网络, 也可以由其他系统构建而成. 目前以模糊系统为基础构建的深度系统研究还非常少, 基本处于空白阶段[22]. 结合模糊系统可解释强的特点, 我们提出了一种基于ANFIS的深度神经模糊系统(DNFS), 该系统采用自底向上的方式逐层构造, 通过分块、分层结构降低模型的运算量与复杂度, 不仅可以保持可解释性高的特点, 同时也可提高模糊系统的精度.

图 1  DNFS1基本结构

图 2  DNFS2基本结构

图 3  DNFS算法流程

通过实验可以看出, DNFS处理高维问题具有一定可行性. 与经典的算法相比, DNFS具有以下优势:

1)DNFS以ANFIS作为基础, 从数据中学习模糊规则, 通过IF-THEN规则完成输入与输出间的映射, 便于理解, 克服了DNN可解释性差的问题. 一旦输出有错误, DNFS可以根据IF-THEN规则溯源, 快速找到错误的规则通过调整进行更正.

2)基于分层分块思想, DNFS为模糊系统解决高维大数据问题开辟了新道路, 相比于传统模糊系统直接对整个数据集进行处理, 模型复杂度大为降低, 精度得到了明显提高, 适合用于处理大数据, 是一种具有潜力的新型深度学习算法.

目前DNFS的研究处于初级阶段, 系统的结构与参数有待进一步优化. 在今后的工作中, 我们将从优化DNFS基本结构、对系统分块组合方式进行深入研究, 以进一步提高系统性能. 此外, 我们还将结合卷积运算, 形成DCNFS (Deep convolution neural fuzzy system)以处理图像等计算机视觉问题.

作者简介

赵文迪

福州大学数学与计算机科学学院, 智慧地铁福建省高校重点实验室科研助理. 主要研究方向为深度学习, 模糊系统.E-mail: wdzhao@aliyun.com

陈德旺

福建省“闽江学者”特聘教授, 福州大学数学与计算机学院教授. 主要研究方向为深度学习, 模糊系统和智能交通系统. 本文通信作者.E-mail: dwchen@fzu.edu.cn

卓永强

广州海航学院海运学院教授. 主要研究方向为船舶运动智能控制, 海上交通系统工程和模糊系统.E-mail: zhuoyq@aliyun.com

黄允浒

福州大学数学与计算机科学学院博士研究生. 主要研究方向为机器学习, 模糊系统与智能交通系统.E-mail: N190310001@fzu.edu.cn