安静分享 http://blog.sciencenet.cn/u/physicsxuxiao 致远

博文

【何毓琦】概率与随机过程教程(4)(徐晓 译) 精选

已有 9722 次阅读 2013-5-3 09:28 |个人分类:高级科普|系统分类:教学心得| 教程

【英文原文地址:http://blog.sciencenet.cn/blog-1565-669532.html

前三篇博文,我已从应用出发,勾勒了概率和随机过程的基础。我的方式,是从用户观点出发,闹清某件事为啥按某个途径发展成现在这个样子。遥想当年,有人问高斯(Gauss):“您的工作是如此美妙,为何我等凡人却难得门径以察其奥妙?”高斯答道:“那教堂之巍峨,是何等壮丽!但修建者却将手脚架拆除,以免有碍观瞻。你只好对此华屋,肃然起敬,自不能知道如何修建。”我本篇博文的目的,就是给大家一些手脚架,以便大家搞清来龙去脉。我的主旨,在于使讨论的主题对真实计算有用

如前所述,我们通过马尔科夫的假设,将复杂的联合概率密度函数,化简为一系列只有一个或者两个自变量的函数的乘积,这将大大简化运算。(先把随机变量可能是矢量的情况忘掉,我们押后讨论)但就是将函数维度大大降低,其运算也并不令人愉快。我们还需要进一步降低参数的数量,而正如教程(1)和(2)中的许多理由表明的,高斯密度函数正好满足要求。仅通过均值μ和方差σ,就足以确定高斯密度函数。事实上,我们时常用“$x\sim N(\mu ,\sigma ^{2} )$”来表示x遵循高斯分布(或者说是“正态分布”。为使整个教程协调一致,记法与英文原文不同,译者注)。

现在我们假定,在高斯马尔科夫序列中,$p(x_{1})\sim N(\bar{X_{1}},p_{1}),p(x_{t}|x_{t-1})\sim N(\phi x_{t-1},q)$;其中,$\phi$,q,$p_{1}$,以及随机变量$X_{1}$的均值$\bar{X}_{1}$都是已知量,则我们极易证明,整个高斯马尔科夫序列中的任一个时刻的随机变量的均值和方差都可以通过以下两个递推方程确定:

    $\bar{X}_{t+1}=\phi \bar{X}_{t}$, 对于所有的t=1,2,... (1)

    $p_{t+1}=\phi p_{t}\phi+q$, 对于所有的t=1,2,... (2)

这里,$p(x_{t+1}\sim N(\bar{X_{t+1}},p_{t+1})$(这段推导,要自己做,可以参看教程(1),译者以后会给出详细推导过程。译者注)。

因此,一个高斯马尔科夫过程 的特性通过给定初始条件 $p_{1}$ 、$\bar{X}_{1}$,系统参数$\phi$、q,通过方程(1)和(2)就完全确定了。

 

可以对方程(1)和(2)做更深一步的理解。我们考虑一下一个多维的线性的离散时间系统,其特性可以用基于矢量的线性差分方程表示如下:

         $\mathbf{x}_{t+1}=\boldsymbol{\phi}\mathbf{x}_{t}+\mathbf{Dw}_{t}$ (3)

其中$\mathbf{w}_{t}$是高斯型白噪声序列,其均值为0,而协方差矩阵表为$\mathbf{Q}$。而如果初始的多维矢量服从高斯分布,即$p(\mathbf{x}_{1})\sim N(\bar{\mathbf{X}}_{1},\mathbf{p}_{1})$,那么学过随机信号的线性系统课程的每个人都知道,$p(\mathbf{x}_{t})\sim N(\bar{\mathbf{X}}_{t},\mathbf{p}_{t})$,并且,

   $\bar{\mathbf{X}}_{t+1}=\boldsymbol{\phi}\mathbf{\bar{X}_{t}}$ (1)'

   $\mathbf{p}_{t+1}=\boldsymbol{\phi} \mathbf{p_{t}}\boldsymbol{\phi}^T+\mathbf{DQD}^T$ (2)'


方程(1)'和(2)'可以看作方程(1)和(2)的在使用矢量和矩阵的情况下的直接推广。推导的细节可以在任何一本标准的关于随机过程的教科书上找到,推导的思路也很直接。我们将一个高斯马尔科夫过程,和一个加入白噪声的多维信号的离散时间线性系统,放在一起比较,其目的在于感受这两个完全不同的系统的内在一致性。这种一致,可谓与天道暗合。这通常是高年级本科生或者一年级研究生学习系统理论的初步,也是系统工程师最为有用的工具。最后要说明的,这也是Kalman滤波器方程中的一半的方程。

根据上面的情况,我们也将$p_{t}$ 和$\bar{X}_{t}$称为$p(x_{t})$的充分统计量(Sufficient Statistics) ,因为根据有限的参量,就足以确定$X_{t}$的分布密度函数。

为了理解卡曼滤波器的另一半方程,我们必须知道在统计或者概率信息不确定、信息量不足够的情况下,如何分析和计算,这将是下篇博文的内容。

 

教程链接:

教程(1)教程(2)教程(3)教程(4)教程(5)

 


 



https://blog.sciencenet.cn/blog-731678-686260.html

上一篇:【何毓琦】概率与随机过程教程(3)(徐晓 译)
下一篇:老曹,你见过那啥吗?
收藏 IP: 14.151.5.*| 热度|

19 徐腾飞 李伟钢 王林平 吴飞鹏 秦四清 苏德辰 李治 肖重发 张弜 李建雄 庄世宇 苏力宏 李霜文 李天成 杨正瓴 xqhuang tips yunmu guizheng

该博文允许注册用户评论 请点击登录 评论 (20 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-23 16:56

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部