引用本文

张文安, 林安迪, 杨旭升, 俞立, 杨小牛. 融合深度学习的贝叶斯滤波综述. 自动化学报, 2024, 50(8): 1502−1516 doi: 10.16383/j.aas.c230457

Zhang Wen-An, Lin An-Di, Yang Xu-Sheng, Yu Li, Yang Xiao-Niu. A survey on Bayesian filtering with deep learning. Acta Automatica Sinica, 2024, 50(8): 1502−1516 doi: 10.16383/j.aas.c230457

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230457

关键词

深度学习，贝叶斯滤波，卡尔曼滤波，状态估计，状态空间模型 

摘要

当前动态系统呈现大型化、复杂化的趋势, 基于贝叶斯滤波的动态系统状态估计遇到一系列新的挑战. 随着深度学习在特征提取与模式识别等方面的优势与潜力不断显现, 深度学习与传统贝叶斯滤波相结合的研究也随之兴起. 为此, 梳理了不同领域融合深度学习的贝叶斯滤波方法的应用案例, 从中剖析不同类型动态系统下贝叶斯滤波存在的局限性和共性难题. 在此基础上, 总结了当前贝叶斯滤波存在的几类不确定性问题, 以深度学习的视角将这些问题归纳为特征提取和参数辨识两大基本问题, 进而介绍深度学习为贝叶斯滤波所提供的解决方案. 其次, 归纳整理了两类深度学习与贝叶斯滤波结合的具体方法, 着重介绍了深度卡尔曼滤波和融合深度学习的自适应卡尔曼滤波. 最后, 综合考虑深度学习方法和贝叶斯滤波方法的优势, 讨论了融合深度学习的贝叶斯滤波方法的开放问题和未来研究方向.

文章导读

随着信息技术的快速发展, 动态系统呈现大型化、复杂化的新发展趋势, 系统观测数据呈现出多模态、高维数、不确定性和多源异构等特性, 传统贝叶斯滤波方法在处理这些观测数据时不断出现新的困难和挑战, 如图像和激光点云数据. 另外, 由于动态系统所具有的非线性、未知参数等特征, 加剧了贝叶斯滤波方法在应用中的困难. 尤其是在实际场景中, 复杂的外部环境干扰因素将导致动态系统存在较强的不确定性, 从而增加传统滤波方法建立自适应机制的难度. 

近年来, 深度学习在图像处理[1–3]、语音识别[4–5]和人机交互[6]等领域上取得巨大的成功, 引起众多学者对其理论和应用开展研究, 并利用深度学习方法解决特定领域的一些问题, 如控制[7–8]、故障诊断[9–10]、医学信息处理[11]和导航定位[12]等. 由于深度学习强大的特征提取和高维数据处理能力, 人们也尝试将深度学习方法与传统贝叶斯滤波方法相结合, 由此形成了一种新的贝叶斯滤波方法体系, 即融合深度学习的贝叶斯滤波. 卡尔曼滤波(Kalman filtering, KF)[13]是贝叶斯滤波在线性高斯系统上的表现形式. 由于KF简洁的计算形式和良好的滤波性能, 越来越多的研究人员尝试将人工神经网络与之结合, 尤其是深度神经网络(Deep neural network, DNN), 如前馈神经网络(Feedforward neural network, FNN)[14]、循环神经网络(Recurrent neural network, RNN)[15]和卷积神经网络(Convolutional neural network, CNN)[16]等. 早在20世纪90年代, Stubberud等[17]将一个3层FNN与扩展卡尔曼滤波结合, 利用FNN来描述未建模动力学, 以提高滤波精度. 之后, 卡尔曼滤波与FNN相结合的方法广泛应用在各类任务中[18–19], 进一步证实了该方法的可行性和有效性. 随着新的深度神经网络技术的快速发展, 融合深度学习的贝叶斯滤波得到进一步的发展, 且应用领域也逐渐扩展到医学诊断[20–25]、智能交通[26–31]、无人驾驶[32–36]、工业过程[37–40]和智能机器人[41–44]等众多领域. 

通过回顾不同领域中融合深度学习的滤波方法, 可以发现, 该类方法正在开辟解决一些复杂问题的新路径. 例如, 医学图像诊断领域呈现新的趋势, 利用深度神经网络提取隐藏在图像中的病理特征, 结合贝叶斯滤波进行病情推断; 智能交通领域, 开始寻求利用深度神经网络来处理交通大数据, 结合贝叶斯滤波来调整交通决策; 无人驾驶领域, 正在转向利用深度神经网络处理图像和激光雷达等观测信息, 结合成熟的滤波框架搭建即时定位与地图构建系统; 工业领域, 正在利用深度神经网络进行工业大数据分析, 结合贝叶斯滤波挖掘数据的因果关系; 智能机器人领域, 利用深度神经网络识别且理解环境信息, 结合贝叶斯滤波进行状态推理和智能决策已成为新趋势. 

由于不同领域之间存在的差异性, 导致当前融合深度学习的贝叶斯滤波方法研究进展的复杂性, 但是通过回顾融合深度学习的贝叶斯滤波的热门应用, 对于典型滤波环境的转变与特点, 仍可以得出一些基本结论: 动态系统的状态估计研究重心已从早期简单的低维动态系统过渡到复杂的高维动态系统, 从单智能体控制逐渐发展到多智能体协同控制, 从以机理为基础的建模方式发展到以深度神经网络为基础的数据驱动学习方式, 从完美信息滤波逐渐过渡到不完美信息滤波. 为此, 本文聚焦于贝叶斯滤波, 结合信息融合理论的研究进展[45–46], 从中总结出一些当前动态系统滤波存在的关键问题. 本文的思路将从实际应用案例出发, 挖掘其中存在的挑战性问题, 并综述相关文献的解决方案和思路. 本文的结构框架及主要内容如图1所示, 第1节概述贝叶斯滤波方法, 结合当前复杂动态系统的新特点, 深入分析这些系统存在的滤波难点, 以此引出贝叶斯滤波方法面临的困难与挑战; 第2节归纳深度学习在贝叶斯滤波中的作用, 包括参数辨识和特征提取; 第3节详细介绍以卡尔曼滤波为基础的深度贝叶斯滤波方法, 分析和总结当前国内外融合深度学习的贝叶斯滤波方法的核心思想和解决方案, 以此展示人工智能技术为滤波方法带来的新突破; 第4节阐述融合深度学习的自适应滤波方法; 第5节对融合深度学习的贝叶斯滤波方法进行展望. 

图 1  本文结构及主要内容

图 2  不确定性问题

图 3  使用神经网络学习系统状态转移过程

本文首先通过对贝叶斯滤波理论的分析, 指出影响滤波性能的重要因素, 在此基础上, 阐述深度学习与贝叶斯滤波相结合的相关研究与应用. 对当前应用最为广泛的深度卡尔曼滤波进行了详细的介绍, 进而介绍了融合深度学习的自适应卡尔曼滤波. 下面对融合深度学习的贝叶斯滤波的研究现状进行总结. 

由于深度学习在复杂函数拟合和特征提取等方面展现出优势和潜力, 其已被应用于贝叶斯滤波的相关研究, 并表现出较好的适用性和优越性. 然而, 通过研究现状分析不难发现, 深度学习主要在状态空间模型的建立以及复杂观测特征提取中具有应用的优势. 对于状态空间模型, 其本质是学习系统的输入输出关系, 拟合系统复杂的传递过程; 对于观测特征提取方法, 提取的是隐藏在复杂数据之中的抽象特征, 其中抽象特征与系统状态之间的映射关系不具备可解释性. 对于卡尔曼增益的计算, 目前已有直接拟合滤波计算结构和过程的相关研究, 其本质也是从系统状态和原始观测数据中提取特征, 然后拟合特征与输出之间的关系. 综上, 尽管目前深度学习与贝叶斯滤波相结合的研究已有以上一些成功案例, 但是相关研究的成果仍然偏少, 并且分散在各自不同的领域, 缺少系统性的理论研究. 

虽然融合深度学习的贝叶斯滤波的研究尚存在一些问题, 但不可否认的是, 深度学习在贝叶斯滤波中的研究前景仍然十分广阔. 以下对未来可能值得研究的内容和方向进行展望. 

作者简介

张文安

浙江工业大学信息工程学院教授. 主要研究方向为多源信息融合估计和网络化系统. E-mail: wazhang@zjut.edu.cn

林安迪

浙江工业大学信息工程学院博士研究生. 主要研究方向为多源信息融合估计. E-mail: 201706061126@zjut.edu.cn

杨旭升

浙江工业大学信息工程学院副教授. 主要研究方向为多源信息融合估计和目标定位. 本文通信作者. E-mail: xsyang@zjut.edu.cn

俞立

浙江工业大学信息工程学院教授. 主要研究方向为鲁棒控制, 网络化系统感知与控制. E-mail: lyu@zjut.edu.cn

杨小牛

中国工程院院士, 电磁空间安全全国重点实验室首席科学家. 主要研究方向为软件无线电和智能信号处理. E-mail: yxn2117@126.com