我对能算概率的东西一向情有独钟，包括喝酒时候的一个小小游戏。

 

桌子上放个公杯，一桌人轮流摇骰子，一次摇两个。 如果两个骰子结果数字和Y不是{7,8,9}中的任何一个，此玩家算过，不用喝，到下一个人摇； 但是如果Y=7，该玩家向公杯中随意倒酒，可多可少，并继续摇；如果Y=8，公杯的酒喝一半，继续摇；如果Y=9，哈哈，那惨了，全喝，继续摇。

 

我上大学的时候，同学们把这个游戏亲切地称为“789”。

 

显然，游戏的参与者会很关心两个骰子数字（设为X1和X2）和是7，8或9的概率。或者更进一步，他们关心Y=X1+X2的概率分布（probability mass function）。当年我没能很快意识到Y的分布，颇感遗憾。如果我以后能当老师，那我的学生如果能在喝酒的时候稍微show off 一下，也算我没白写。

 

首先，考虑Y=7这个事件，其发生的概率等于(X1, X2)=(1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1)这六个互斥事件发生的概率的和。仔细观察上面罗列的六个事件，再注意到X1和X2相互独立，p(X1, X2)=p(X1)p（X2)，我们可以得到下面这个式子：

$p(Y=7)=\sum_{i=1}^6 p(X_1=i)p(X_2=7-i)$

是不是很眼熟，数学上来说，这就是卷积运算。说到对卷积的理解，我认为线性时不变系统（简称LTI系统）是一个很好的例子：输入函数和单位脉冲响应函数的的卷积就是输出函数。那么在计算独立随机变量和的分布的时候，为什么也会出现卷积运算呢？

 

我不想用严格的数学证明来描述答案，让我用信号系统的类比来解释。简单地说，线性时不变系统的输出是由很多很多个有时间延迟的单位脉冲响应的线性组合。倒过来想，上句话等价于t 时刻的输出信号是很多很多种输入( $\tau$ 时刻输入）和时延(经过 $t-\tau$ 时间）的总和。因为很多老师已经对这个问题做过详细的介绍，我就不多说了【1】【2】【3】【7】。

 

在算概率的时候会用到卷积运算，这和LTI系统有没有联系呢？按我的理解，可以把X1理解成输入函数的自变量（时间），p（X1）理解成输入函数的因变量（函数值）。同理，X2是系统位脉冲响应的自变量（时间），p（X2）是单位脉冲响应的函数值。X1和X2的独立性保证了这两个函数的相乘关系，也就是线性系统的特性。同样因为输出是X1和X2的和，在X1时刻（对应 $\tau$ 时刻）输入脉冲，经过X2时间（对应 $t-\tau$ 时间）后的输出的响应，这也符合了时不变系统的定义。因此，Y的分布可以类比成一个LTI系统的输出。

 

当然，严格来说，这样的类比并不严谨，但是我希望用一个易于理解的概念来介绍一个新的概念。

 

不加证明的给出结论，两个独立的连续随机变量X1和X2， 服从分布概率密度为 $f_1(x)$ 和 $f_2(x)$ 的分布， 那么随机变量Y=X1+X2的概率密度 $f(y)$ 为，

  $f(y)=f_1(x)*f_2(x)=\int f_1(w)f_2(y-w)dw$

 对于离散随机变量的分布，上式可以简化成求和的形式:

  $p(Y=y)=p(x_1)*p(x_2)=\sum_w p(X_1=w)p(X_2=y-w)$

 熟悉卷积的朋友都知道，两个矩形窗的卷积是一个三角形的窗函数，我跳过计算，直接给出分布如下图：

 

 

 

可以看到，出现Y=7的概率最大，次之的是Y=6和Y=8。如果要让这个游戏更加凶残，不妨改成6，7，8。

 

如果要进一步的分析，比如平均一个人会喝掉多少酒，那么需要先做一些假设（比如离散化倒酒的体积，倒酒是均匀分布之类），再构造一个马尔科夫链。每次状态转移伴随着一个reward。而我们刚才计算的仅仅是转移概率的第一步。其实是挺复杂的一个问题，以后有机会再写个续篇吧。

 

最后，说到卷积，就想再说说积分变换。 根据定义，连续随机变量Y的动差生成函数（moment generating function，矩量母函数）可以由下式表达：

 

$M_Y(t)=E(e^{tY})=\int_{-\infty}^\infty e^{ty}f(y) dy$

其中f(y)是随机变量Y的分布函数，在上面的例子中就是p(y)。

 

$M_Y(-t)$ 不活脱脱的就是 $f(y)$ 的双边拉布拉斯变换么？那推而广之，设 $a_i$ 为实数序列， $X_i$ 为独立随机序列，定义随机变量

$Y=\sum_{i=1}^N a_i X_i%uFF0C$

那么其动差生成函数就是

$M_Y(t)=M_{X_1}(a_1t)M_{X_2}(a_2t)\cdots M_{X_n}(a_nt)$

对 $M_Y(-t)$ 作拉普拉斯逆变换就可以得到Y的分布。

 

举个例子，用动差生成函数方法可以很容易证明：独立分布的高斯随机变量的和还是高斯分布。 因为如果随机变量Y服从 $N(\mu, \sigma^2)$ ，则

$M_Y(t) =e^{t\mu + \frac{1}{2}\sigma^2t^2}$ 。

 

后记： 某天无意中浏览到余昕老师的博文“裹而不乱的卷积”，进而经过一番相关搜索后发现科学网上还有个关于卷积的博文专题。(http://news.sciencenet.cn/news/sub18.aspx?id=851)不看不知道，一看真奇妙。看着各位大师纷纷从各个角度展示卷积之意义，我这个小小后辈受益匪浅。但是我只在袁贤讯老师【4】和田灿荣老师【5】的博文中见到关于卷积和概率的介绍，作为一个统计信号处理的学生，我就冒昧的写了本文作为对他们工作的致敬。李小文老师的讲法挺有意思，用幂级数讲卷积，我是第一次见【6】。^_^

 

我因为要引参考文献，就不能不说自己对文献的理解。赶鸭子上架，我就冒昧的说说我对“大话卷积”专题的理解。说的不对请老师们原谅。我感觉邹谋炎【7】老师对卷积的理解是搞信号处理人的理解。我也是这么理解的，请让我冒充一下本门弟子吧。我第一次接触卷积是在奥本海姆编的信号系统书上看的，那里面就是充分利用LTI系统性质，用线性组合解释卷积。后来我又看过两三本信号系统书，也是这么解释的。不过这肯定不是卷积的唯一理解方式。我都不记得积分变换书上有没有讲卷积了。总之，我感觉卷不卷仅仅是两种理解方法，看个人爱好吧。

唐常杰老师的博文有很多有趣的适于用卷积建模的例子【8】。

还有很多关于卷积的博文，我就不一一列举了，请看专题。

 

PS: 1. 对这种生活中的小问题建模是我的兴趣爱好之一，应该不算浪费时间吧，毕竟写博文以后上课也能用。

2. 亲爱的父亲大人，你要是看了本文千万别担心我总是在喝酒才想这个东西。我没有喝酒，请放心。

3. 百度百科对数学词条太不友好了，非常难以编辑公式，MGF的词条写得惨不忍睹。

 

【1】余昕老师的《裹而不乱的卷积》，附带LTI系统介绍。

【2】曹广福老师的《大话卷积》，数学老师讲卷积

【3】王晓刚老师的《“卷”，还是“不卷”，这是个问题》，物理老师讲卷积

【4】袁贤讯老师的《也谈卷积---及其在振动、中心极限定理以及更新理论中的应用》

【5】田灿荣老师的《概率中的卷积》

【6】 李小文老师的《当年给学生讲卷积》，通过幂级数的乘法讲卷积。

【7】邹谋炎老师的《科研小记：“卷”与“不卷”》。

【8】唐常杰老师的《辐射、服碘、补盐、空袭和卷积-----教学难点讨论之一》。

相关专题：大话卷积
转载本文请联系原作者获取授权，同时请注明本文来自王云龙科学网博客。
链接地址：https://blog.sciencenet.cn/blog-624263-786132.html

上一篇：在国外别给陌生人开门
下一篇：一名模电课助教的点点滴滴