引用本文

刘切, 李俊豪, 王浩, 曾建学, 柴毅. 不确定性环境下维纳模型的随机变分贝叶斯学习. 自动化学报, 2024, 50(6): 1185−1198 doi: 10.16383/j.aas.c210925

Liu Qie, Li Jun-Hao, Wang Hao, Zeng Jian-Xue, Chai Yi. Stochastic variational Bayesian learning of Wiener model in the presence of uncertainty. Acta Automatica Sinica, 2024, 50(6): 1185−1198 doi: 10.16383/j.aas.c210925

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210925

关键词

非线性系统辨识，随机优化，变分贝叶斯，维纳模型

摘要

多重不确定性环境下的非线性系统辨识是一个开放问题. 贝叶斯学习在描述、处理不确定性方面具有显著优势, 已在线性系统辨识方面得到广泛应用, 但在非线性系统辨识的应用较少, 且面临概率估计复杂、计算量大等难题. 针对上述问题, 以典型维纳(Wiener)非线性过程为对象, 提出基于随机变分贝叶斯的非线性系统辨识方法. 首先对过程噪声、测量噪声以及参数不确定性进行概率描述; 然后利用随机变分贝叶斯方法对模型参数进行后验估计. 在估计过程中, 利用随机优化思想, 仅利用部分中间变量概率信息估计模型参数分布的自然梯度期望, 与利用所有中间变量概率信息估计模型参数比较, 显著降低了计算复杂性. 该方法是首次在系统辨识领域中的应用. 最后, 利用一个仿真实例和一个维纳模型的Benchmark问题, 证明了该方法在对大规模数据下非线性系统辨识的有效性.

文章导读

系统辨识是基于模型的控制系统设计基础, 是现代控制理论主要研究内容. 系统辨识主要目标是利用数学方法从输入输出数据中建立系统的动态模型. 过去几十年中, 国内外研究人员围绕系统辨识的实验设计、算法设计以及收敛性证明等做了大量工作[1-3], 特别是对于线性系统的辨识, 已经有很多成熟的解决方案. 随着系统规模、结构的增加以及对高精准控制的需求, 传统利用线性模型近似描述非线性过程的方法已经不能满足人们对辨识精度的要求. 非线性系统辨识日益成为辨识主要研究方向[4-5]. 由于非线性模型的复杂性、多样性以及模型自身和数据的不确定性, 使得非线性系统辨识异常复杂, 成为一个开放性问题[6]. 本文针对非线性系统辨识过程中数据不确定、模型不确定的问题, 采用贝叶斯学习方法, 提出基于随机变分贝叶斯的一类非线性系统辨识方法, 在提高模型辨识精度情况下, 显著减少了算法的计算量, 为非线性系统辨识提供了一种全新的思路. 

对于非线性系统的辨识, 首要问题是选择合适的非线性模型对系统的动态过程进行描述. 一般而言, 并不存在一种通用的非线性模型能够描述所有的非线性过程, 而过于复杂的模型会显著增加后续参数估计的复杂度, 因此选择一个合适的非线性模型来描述非线性过程则至关重要. 常见的用于描述非线性过程的模型包括: 非线性状态空间模型[7]、非线性自回归滑动平均模型[8]和模块化结构模型(Block-oriented model)等[9-10]. 在这些模型中, 模块化结构模型具有简单易实现等优点, 其中包括维纳(Wiener)结构、Hammerstein结构以及Wiener-Hammerstein结构等[11]. 维纳模型是其中的一类基础模型, 已经成功用于描述pH中和过程[12]、蒸馏塔[13]和通信系统等过程[14], 一些文献表明, 它可以用于几乎任何非线性系统[15]. 因此, 本文选择这一基础模型, 研究非线性过程的辨识. 

维纳模型的结构示意图如图 1所示, 其由动态线性部分和静态非线性部分组成. 如前所述, 数据不确定性带来的噪声处理是系统辨识的永恒主题. 目前大部分的维纳过程辨识集中在系统测量噪声(如图 1中e_n所示)的处理, 而忽略过程噪声(如图 1中w_n所示)对辨识的影响. 在实际过程中, 中间变量x_n也可能受到噪声的干扰; 同时, 在模型中增加过程噪声, 可以提高描述的准确性. 针对维纳模型, Hagenblad等[15]指出, 当测量噪声和过程噪声都存在时, 一些现有的方法无法准确估计出模型参数; 另一方面, 现有的大部分维纳系统辨识中, 均利用高斯模型描述测量噪声. 实际上, 在测量过程中由于传感器异常等原因, 数据可能受到较大扰动, 产生异常数据(奇异点). 此时, 高斯模型不能准确描述数据奇异现象. 数据奇异现象下的系统辨识, 近年来受到广泛关注[16], 但在维纳系统的辨识过程中考虑并不多, 本文在后续内容中将充分讨论这一问题. 

图 1  维纳模型结构示意图

在对维纳模型的研究方法中, 预测误差方法(Prediction error method, PEM)[17-19] 使用最为广泛, 它通过最小化预测误差拟合输入输出数据, 从而得到系统模型. 该方法原理简单, 是系统辨识的标准方法, 但是在模型噪声较大且出现奇异值的情况下, 该方法很难得到满意的参数估计效果. 极大似然估计(Maximization likelihood estimation, MLE)[15]是另一种系统辨识经典方法, 它通过最大化似然函数获得参数的无偏估计, 是处理强噪声情况下参数估计的有效手段. 文献[15]提出维纳模型的极大似然估计方法. 利用传统的MLE方法进行非线性系统辨识, 由于需要直接计算似然函数, 大量的指数运算和积分运算使得辨识计算量较大; 而在具有隐变量不能直接计算似然函数的情况下, 传统的MLE也不能用于参数估计. 在MLE方法不能使用的情况下, EM (Expectation-maximization)算法通过直接计算隐变量(除观测值外, 所有参数都可以看作隐变量) 的后验分布来极大化全概率似然函数, 从而达到参数估计的目的. 然而, 由于模型中的非线性环节, 很难直接计算隐变量的后验分布, 使得EM算法不能直接用于维纳系统的辨识. 针对此问题, Liu等在文献[20]中提出基于变分贝叶斯期望最大化(Variational Bayesian expectation-maximization, VBEM)的维纳模型辨识方法. 该方法利用变分推断结合重要性采样技术近似求解隐变量的后验分布, 然后通过极大化全概率似然函数估计模型参数. 该方法是非线性系统辨识领域的首次应用, 极大提高了含奇异数据和过程噪声情况下的维纳模型辨识精度. 然而, 由于使用重要性采样技术且需要对每个隐变量都进行变分推断, 使得该方法计算量大, 不适合大规模数据下的系统辨识. 

基于上述方法的局限性, 本文提出随机变分贝叶斯推断(Stochastic variational Bayesian inference, SVBI)的方法来解决存在过程噪声、奇异点及参数不确定情况下的维纳模型辨识问题. 区别于文献[20]提出的VBEM算法, 本文利用随机优化思想, 采用自然梯度下降的方法对模型参数进行更新. 因为使用随机梯度下降方法, 在迭代中只要知道梯度期望值即可保证梯度下降的收敛性, 因此, 在隐变量独立的假设下, 只需要部分隐变量信息即可对模型信息进行更新, 从而显著降低变分推理的计算量. 据作者所知, 这是本方法在系统辨识领域的首次应用. 本文认为该方法是基于贝叶斯学习的系统辨识的重要进展, 为非线性系统辨识提供了一个新的思路. 本文通过一个仿真实例详细分析该方法在辨识准确率和计算时间成本上的优势; 通过一个非线性电路辨识的Benchmark问题验证该方法在实际数据上的应用, 结果表明本文提出的方法在提高辨识准确度和计算效率方面均具有较大优势. 

图 2  SVBI中目标函数的更新示意图

图 3  辨识参数的收敛状况

本文考虑了存在过程噪声、测量噪声以及参数不确定情况下的维纳模型的辨识问题, 提出SVBI方法, 根据随机优化的思想, 将模型参数分为全局隐变量和局部隐变量, 通过自然梯度下降方法计算全局隐变量对应的全局变分参数, 实现对模型信息的更新. 针对于文献[20]中所提出的VBEM方法的局限性, 本文所提出SVBI方法只需要部分局部隐变量的信息即可实现对全局隐变量后验分布的更新, 从而实现似然函数的极大化, 可以显著降低变分推理的计算量, 对于大规模数据系统的辨识具有很大的意义. 本文首先通过一个仿真实例, 并与VBEM、MLE、PEM三种方法进行了比较, 详细分析了该方法在辨识准确率和计算时间成本上的优势; 又通过一个非线性电路辨识的Benchmark问题验证了该方法在实际过程上应用的有效性, 结果表明本文所提出的方法在提高辨识准确度和提高计算效率方面均具有较大优势. 

作者简介

刘切

重庆大学自动化学院副教授. 2016年获得北京化工大学控制科学与工程专业博士学位. 主要研究方向为人工智能及其在复杂过程的控制和优化中的应用. 本文通信作者. E-mail: qieliu@cqu.edu.cn

李俊豪

重庆大学自动化学院硕士研究生. 2020年获得西安理工大学自动化与信息工程学院学士学位. 主要研究方向为系统辨识与人工智能. E-mail: 202013021042@cqu.edu.cn

王浩

重庆大学自动化学院硕士研究生. 2021年获得安徽师范大学物理与电子信息学院学士学位. 主要研究方向为模型预测与人工智能. E-mail: 202113021007@cqu.edu.cn

曾建学

重庆大学自动化学院硕士研究生. 2018年获得华北科技学院电子信息工程学院学士学位. 主要研究方向为容器技术与人工智能. E-mail: lc9zjx@126.com

柴毅

重庆大学自动化学院教授. 2001年获得重庆大学博士学位. 主要研究方向为信息融合, 故障诊断, 智能控制系统. E-mail: chaiyi@cqu.edu.cn