博文

基于 WTFMC 算法的递归模糊神经网络结构设计

已有 1970 次阅读 2023-1-25 16:08 |系统分类:博客资讯

引用本文

乔俊飞, 丁海旭, 李文静. 基于 WTFMC 算法的递归模糊神经网络结构设计. 自动化学报, 2020, 46(11): 2367−2378 doi: 10.16383/j.aas.c180847

Qiao Jun-Fei, Ding Hai-Xu, Li Wen-Jing. Structure design for recurrent fuzzy neural network based on wavelet transform fuzzy Markov chain. Acta Automatica Sinica, 2020, 46(11): 2367−2378 doi: 10.16383/j.aas.c180847

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180847

关键词

递归模糊神经网络，小波变换，模糊马尔科夫链，动态建模，污水处理

摘要

针对递归模糊神经网络(Recurrent fuzzy neural network, RFNN)的递归量难以自适应的问题, 提出一种基于小波变换–模糊马尔科夫链(Wavelet transform fuzzy Markov chain, WTFMC)算法的RFNN模型.首先, 在时间维度上记录隐含层神经元的模糊隶属度, 并采用小波变换将该时间序列进行分解, 通过模糊马尔科夫链对子序列的未来时段进行预测, 之后将各预测量合并后代入递归函数中得到具有自适应性的递归量.其次, 利用梯度下降算法更新RFNN的参数来保证神经网络的精度.最后, 通过非线性系统建模中几个基准问题和实际污水处理中关键水质参数的预测实验, 证明了该神经网络模型的可行性和有效性.

文章导读

模糊神经网络(Fuzzy neural network, FNN)是模糊理论[1]同神经网络[2]相结合的产物, 具有模糊系统的模糊推理能力, 该模型不仅能自动更新, 而且能不断修正模糊子集的隶属函数[3].但是FNN作为一种前馈网络对非线性系统建模的能力有限, 并且无法适应较复杂的动态环境[4-5].为了解决这个问题, 一些专家学者在FNN的基础上, 通过构建反馈通道建立了递归模糊神经网络(Recurrent fuzzy neural network, RFNN) [6-11]. RFNN兼具模糊系统的模糊推理能力与状态反馈的动力学特性, 可以良好地解决大时变、过拟合等问题, 从而增强了网络描述非线性动态系统的能力.因此, 对RFNN的深入研究具有重要的意义.

RFNN的研究重点之一是递归通道的构建. Juang等[12]设计了一种局部递归模糊神经网络(Locally recurrent fuzzy neural network, LRFNN), 该网络在规则层上建立了自反馈连接, 将每个模糊规则的激活强度代入到下一次网络计算中, 实验表明其有效地解决了网络在无噪声和有噪声情况下的动态系统预测和辨识问题. Wai等[13]在FNN的隶属函数层构建了递归通道, 增加了网络的动态控制性能和稳态交互作用, 减少了不确定边界选择引起的抖振现象. Lin等[14]通过在输出层和输入层之间建立反馈连接, 将网络上一时刻的输出代入到当前的输入, 增强了网络的鲁棒性. Wu等[15]提出了一种改进的可辨识RFNN, 将模糊神经网络的反馈拓扑完全连接起来以处理时态模式行为, 实验表明该RFNN在噪声环境下具有良好的分类性能.尽管以上构建的RFNN能够记忆历史信息以适应较复杂的动态环境[16-17], 但是, 仅采用前一时刻的历史信息用于指导当前时刻的网络变化具有一定的局限性, 在处理强非线性问题时可能会因为极值或异常值的输入, 引起网络的波动.网络的递归量无法根据神经元的变化趋势及时调整, 对数据的学习缺乏自适应性.因此, 构建一种能够指导递归量变化的自适应RFNN具有重要的意义.

鉴于以上存在的问题, 对于历史信息的存储不应局限于一个时刻, 但同样也不能简单地将多个时刻数据进行递归, 这样不利于样本非线性特征的表现, 违背了递归的本质也会增加网络的计算负担. Zhang等[18]设计了一种卷积长短期记忆(Long short-term memory, LSTM)网络用于多模态的手势识别, 该网络能够更好地学习手势的长期特征, 提高了模型的识别准确率, 与传统递归神经网络不同, LSTM网络能够较好地预测时间序列中间隔和延迟相对较长的事件, 然而其训练复杂度较高、解码延时长, 无法良好地适用于低维度、非线性强的小样本序列.因此, 若立足于RFNN本身采用合适的自适应递归算法既可增强网络的逼近能力也可减小网络设计的复杂程度. RFNN的输入通常是按照时间顺序进行的, 因而网络内部的变化也呈现一定的时间规律.若将规则层在连续时间的变化记录下来, 通过挖掘时间序列的内部规律以探知样本空间, 将加快网络初期的收敛速度, 进而减小网络计算的复杂度, 因此, 构建分析时间序列的方法对于增强递归量的自适应性尤为关键. Kam等[19]采用了一种自回归综合滑动平均法用于时间序列的分析, 该算法可以有效地用于在短期波动中的预测.虽然滑动平均法能较好地反映序列发展变化的规律, 但是后期会在序列的尾部产生一定的滞后误差, 无法完全描述序列中包含的函数关系. Joo等[20]采用一种小波变换的算法将原始时间序列分解为趋势部分和变异部分, 并对每个部分分别建立预测模型, 小波变换分解对于分析瞬时时变信号具有明显的优势, 它能有效地从时间序列中提取信息, 通过伸缩和平移等运算功能对时间序列进行多尺度细化分析, 通过对子序列分析能够更好地挖掘在原始序列中较难分析出的特点.仿真结果表明, 通过小波变换的时间序列可以更好地反映时间序列的变化趋势并能减小滞后误差, 但是各个子序列的预测模型仍需要简洁并实用的算法支撑以减少计算负荷. Sun等[21]在小波变换的基础上又提出了一种灰色马尔科夫链算法, 该算法引入了模糊理论和新陈代谢原理, 即渐进转移概率矩阵, 既减小了计算负担也保证了预测精度.

根据以上分析, 本文构建了一种基于小波变换-模糊马尔科夫链算法的递归模糊神经网络(Wavelet transform fuzzy Markov chain RFNN, WTFMC-RFNN).该网络以模糊推理性强的T-S型FNN为基础, 在规则层后建立自反馈通道以增加网络的动态性能, 采用小波变换并结合模糊马尔科夫链以引导递归量的自适应调整, 使用梯度下降算法以保证网络的收敛精度.实验选取了几个基准问题和污水处理的关键参数进行预测, 验证了该神经网络的有效性.