tianrong1945的个人博客分享 http://blog.sciencenet.cn/u/tianrong1945

博文

概率论悖论 精选

已有 22702 次阅读 2017-4-1 06:25 |个人分类:系列科普|系统分类:科普集锦

概率论悖论-趣谈概率统计之2

如今,“概率”一词在我们的生活中随处可见,被人们使用得越来越广泛和频繁。这是一个多变的世界,一切都在变化,一切都难以确定。这个世界是由变量构成的,其中包括决定性变量,比如新闻说:“北京时间20161132043分,长征五号在海南文昌成功发射”,这儿的时间地点都是固定的决定性变量。但我们的生活中也有许多随机变量,比如明天雾霾的程度,或百度的股票值,都是不确定的随机变量。随机变量用概率来描述。处处是随机变量,因而处处有概率。你打开电视听天气预报,看看今天会不会下雨?气象预报员告诉你说:今天早上8点钟的“降水概率”是90%。你到手机上查询股市中的某种股票,你得到的信息可能是这种股票3个月之后翻倍的概率是67%。你满怀期望地买了50张彩票,朋友却告诉你,傻瓜才去百花这50块钱,因为你中奖的概率只有一亿分之一!你手臂上长了一个“肉瘤”,医生初步检查后安慰你,这块东西是恶性瘤的概率只有0.03%,万分之三而已!生活中概率这个词太常见了,以至于人们不细想也大概知道是个什么意思,比如说最后一个例子中,0.03%恶性概率的意思不就是说,“10000个这样的肉瘤中,只有3个才会是恶性的”吗。因此,概率就可以被粗糙地定义为事件发生的频率,即发生次数与总次数的比值。更准确地说,是总次数趋于无限时,这个比值趋近的极限。

虽然概率的定义不难懂,好像人人都会用,但你可能不知道,概率计算的结果经常违背我们的直觉,概率论中有许多难以解释、似是而非的悖论。不能完全相信直觉!我们的大脑有它的误区和盲点,就像开汽车的驾驶员视觉中有“盲点”一样,需要几面镜子来帮助克服,我们的思维过程中也有盲点,需要计算和思考来帮助澄清。概率论是一个经常出现与直觉相悖的奇怪结论的领域,连数学家也是稍有不慎便会错得一塌糊涂。现在,我们就来看看经典概率中的几个著名悖论和谬误。

基本比率谬误(base rate fallacy

先看一个生活中的例子。

王宏去医院作验血实验,检查他患上了X疾病的可能性,其结果居然为阳性,把他吓了一大跳,赶忙到网上查询。网上的资料说,实验总是有误差的,这种实验有“百分之一的假阳性率和百分之一的假阴性率”。这句话的意思是说,在得病的人中做实验,有1%的人是假阳性,99%的人是真阳性。而在未得病的人中做实验,有1%的人是假阴性,99%的人是真阴性。于是,王宏根据这种解释,估计他自己得了X疾病的可能性(即概率)为99%。王宏想,既然只有百分之一的假阳性率,那么,百分之九十九都是真阳性,那我已被感染X病的概率便应该是99%

可是,医生却告诉他,他被感染的概率只有0.09左右。这是怎么回事呢?王宏的思路误区在哪里?

医生说:“百分之九十九?哪有那么大的感染几率啊。99%是测试的准确性,不是你得病的概率。你忘了一件事:这种X疾病的正常比例是不大的,1000个人中只有一个人有X病。”

医生的计算方法是这样的:因为测试的误报率是1%1000个人将有10个被报为“假阳性”,而根据X病在人口中的比例(1/1000=0.1%),真阳性只有1个。所以,大约11个测试为阳性的人中只有一个是真阳性(有病)的,因此,王宏被感染的几率是大约1/11,即0.09(9%)

王宏想来想去仍感糊涂,但这件事激发了王宏去重温他之前学过的概率论。经过反复阅读,再思考琢磨医生的算法之后,他明白了自己是犯了那种叫做“基本比率谬误”的错误,即忘记使用“X病在人口中的基本比例(1/1000)这个事实。

谈到基本比率谬误,我们最好是先从概率论中著名的贝叶斯定理1说起。托马斯·贝叶斯(ThomasBayes 1701–1761年)是英国统计学家,曾经是个牧师。贝叶斯定理是他对概率论和统计学作出的最大贡献,是当今人工智能中常用的机器学习之基础框架,它的思想之深刻远出一般人所能认知,也许贝叶斯自己生前对此也认识不足。因为如此重要的成果,他生前却并未发表,是他死后的1763年,才由朋友发表的。本篇将对贝叶斯定理稍作介绍,我们在本系列的后几篇,将讨论贝叶斯学派以及贝叶斯理论在人工智能中的应用。

初略地说,贝叶斯定理涉及到两个随机变量AB的相互影响,如果用一句话来概括,这个定理说的是:利用B带来的新信息,应如何修改B不存在时A的“先验概率”P(A),从而得到B存在时的“条件概率”P(A|B),或称后验概率,如果写成公式便是:


这儿“先验后验”的定义是一种“约定俗成”,是相对的。比如说也可以将AB反过来叙述,即如何从B的“先验概率”P(B),得到B的“条件概率”P(B|A),见图中虚线所指。

不要害怕公式,通过例子,我们能慢慢理解它。例如,对前面王宏看病的例子,随机变量A表示“王宏得X病”;随机变量B表示“王宏检查结果”。先验概率P(A)指的是王宏没有检查结果时得X病的概率(即X病在公众的基本概率0.1%),而条件概率(或后验概率)P(A|B)指的是王宏“检查结果为阳性”的条件下得X病的概率(9%)。如何从基本概率修正到后验概率的?待会儿再解释。

贝叶斯定理是18世纪的产物,200来年用得好好的,不想在20世纪70年代遇到了挑战,该挑战来自于卡尼曼和特维尔斯基(Tversky)提出的“基础概率谬误”(Base-RateFallacy)。丹尼尔·卡尼曼(Daniel Kahneman1934年-)是以色列裔美国心理学家,2002年诺贝尔经济学奖得主。基础概率谬误并不是否定贝叶斯定理,而是探讨一个使人困惑的问题:为什么人的直觉经常与贝叶斯公式计算的结果相违背?如同刚才的例子所示,人们在使用直觉的时候经常会忽略基础概率。卡尼曼等在他的文章《思考,快与慢》中举了一个出租车的例子来启发人们思考这个影响人们“决策”的原因。我们不想在这儿深谈基础概率谬误对“决策理论”的意义,只是借用此例来加深对贝叶斯公式的理解:

某城市有两种颜色的出租车:蓝和绿(市场比率15:85)。一辆出租车夜间肇事后逃逸,但还好当时有一位目击证人,这位目击者认定肇事的出租车是蓝色的。但是,他“目击的可信度”如何呢?公安人员经过在相同环境下对该目击者进行“蓝绿”测试而得到:80%的情况下识别正确,20%的情况不正确。也许有读者立刻就得出了结论:肇事之车是蓝色的几率应该是80%吧。如果你作此回答,你便是犯了与上面例子中王宏同样的错误,忽略了先验概率,没有考虑在这个城市中“蓝绿”车的基本比例。

那么,肇事之车是蓝色的(条件)几率到底应该是多少呢?贝叶斯公式能给出正确的答案。首先我们必须考虑蓝绿出租车的基本比例(15: 85)。也就是说,在没有目击证人的情况下,肇事之车是蓝色的几率只有15%,这是“A=蓝车肇事”的先验概率P(A)= 15%。现在,有了一位目击者,便改变了事件A出现的概率。目击者看到车是“蓝”色的。不过,他的目击能力也要打折扣,只有80%的准确率,即也是一个随机事件(记为B)。我们的问题是要求出在有该目击证人“看到蓝车”的条件下肇事车“真正是蓝色”的概率,即条件概率P(A|B)。后者应该大于先验概率15%,因为目击者看到“蓝车”。如何修正先验概率?为此需要计算P(B|A)P(B)

因为A=车为蓝色、B=目击蓝色,所以P(B|A)是在“车为蓝色”的条件下“目击蓝色”的概率,即P(B|A)80%。最后还要算先验概率P(B),它的计算麻烦一点。P(B)指的是目击证人看到一辆车为蓝色的概率,等于两种情况的概率相加:一种是车为蓝,辨认也正确;另一种是车为绿,错看成蓝。所以:

P(B) = 15%×80% + 85%×20% = 29%

从贝叶斯公式:


可以算出在有目击证人情况下肇事车辆是蓝色的几率=41%,同时也可求得肇事车辆是绿车的概率为59%。被修正后的“肇事车辆为蓝色”的条件概率41%大于先验概率15%很多,但是仍然小于肇事车可能为绿的概率0.59。对王宏测试X病的例子,读者可以参考这儿的方法,不难得出正确的答案,作者就不再赘述了。


几何概型和贝特朗悖论2

抛硬币、掷骰子之类游戏中涉及的概率,是离散的,抛丢结果的数目有限(26)。如果硬币或骰子是对称的,每个基本结果发生的概率相等。这种随机事件被称为古典概型。数学家们将古典概型推广到某些几何问题中,使得随机变量的结果变成了连续的,数目成为了无限多,这种随机事件被称之为“几何概型”。古典概型向几何概型的推广,类似于有限多个整数向“实数域”的推广。了解几何概型很重要,因为与之相关的“测度”概念(长度、面积等),是现代概率论的基础。

布封投針问题,是第一个被研究的几何概型。


1:布封(Buffon)投針问题

18世纪的法国,有一个著名的博物学家:乔治·布丰伯爵(George Buffon17071788年)。他研究不同地区相似环境中的各种生物族群,也研究过人和猿的相似之处,以及两者来自同一个祖先的可能性,他的作品对现代生态学影响深远,他的思想对达尔文创建进化论影响很大。

难得的是,布丰同时也是一位数学家,是最早将微积分引入概率论的人之一。他提出的布封投針问题(图1)是这样问的:

用一根长度为L的針,随机地投向相隔为D的平行线(L < D),针压到线的概率是多少?

布封投针问题中,求的也是概率,但这时投掷的不是硬币或骰子,而是一根针。硬币投下去只有“正反”两种基本结果,对公平硬币而言,每种概率1/2。公平骰子有6种结果,每一个面出现概率为1/6。我们现在分析一下布封投针的结果。按照图1a所示的数学模型,投针投下之后的状态可以用两个随机变量来描述,针的中点的位置x,以及针与水平方向所成的角度qx-D/2D/2之间变化,q02π间变化。因为xq的变化是连续的,所以其结果有无限多。古典概率中的求和在几何概率中用积分代替,使用积分的方法不难求出布封探针压线的几率为2L/(Dπ)

因为布封投针中的概率是对于xq2维积分,所以概率的计算可以简化为如图1b所示的几何图形的面积计算,即所求概率等于图1b中阴影面积与矩形面积之比。

布封投针的结果提供了一个用概率实验来确定圆周率π的方法(蒙特·卡罗法)。因为π=2L/(DP),当针投掷的次数足够大,得到的概率P足够精确时,便可以用以上公式计算π。的确有些出乎意料之外,真没想到用一根针丢来丢去也能丢出一个数学常数来!

从上面的介绍可知,几何概型将古典概型中的离散随机变量扩展到了连续随机变量,求和变成积分,变量的样本空间从离散和有限扩展到无穷。几何概型和古典概型都使用“等概率假设”。然而,只要涉及到无穷大,便经常会产生一些怪异的结果。布封投针问题中条件清楚,没有引起什么悖论,著名的几何概型悖论是法国学者贝特朗(Joseph Bertrand1822–1900)于1889年提出的贝特朗悖论。

贝特朗提出的问题是:在圆内任作一弦,求其长度超过圆内接正三角形边长L的概率。奇怪之处在于,这个问题可以有三种不同的解答,结果完全不同但听起来却似乎都有道理。


2贝特朗悖论

求解贝特朗问题中的概率,不需要用微积分,只需要利用几何图形的对称性便能得到答案。与计算布封投针问题中概率的情况类似(图1b),一般来说,可以将几何概率的计算变换成几何图形的计算,即计算弧长或线段的长度,或者是面积或体积,从如下计算贝特朗问题的3种不同方法,读者可以更为深入地理解这点。

方法1:首先假设弦的一端固定在圆上某一点(比如A),如图2a,弦的另一端在圆周上移动。移动端点落在弧BC上的弦,长度均超过圆内接正三角形的边长L,而其余弦的长度都小于L。由于对称性,BC弧长占整个圆周的1/3,所以可得弦长大于L的概率为BC弧长与圆周长之比,即P=1/3

方法2:首先选择圆的一个直径,比如图2b中的AD。过该直径上的任何点作直径的垂线,与圆相交形成弦。从图2b中可以看出:当直径上动点的位置在BC之间时,所得弦的弦长大于正三角形的边长L,动点位置在BC之外的弦长小于L。因为线段BC的长度是整个直径的一半,所以由此可得弦长大于L的概率为P=1/2

方法3:如图2c所示,作一个半径只有圆的半径的二分之一的同心圆(称为小圆),称原来的圆为“大圆”。考虑大园上任意弦的中点的位置可知:当中点位于小圆内部时,弦长符合大于L的要求。因为小圆的面积是大圆面积的1/4。所以,概率也为P=1/4

以上3种方法听起来都振振有辞,但得出不同的结果,是怎么回事呢?

按照传统解释,关键在于“随机”选择弦的方法。方法不同,“等概率假设”的应用区间也不一样。方法1假定端点在圆周上均匀分布(即等概率);方法2假定弦的中点在直径上均匀分布;方法3则假定弦的中点在圆内均匀分布,图3给出了3种解法中弦的中点在园内的分布情形。图4则是用3种方法直接画出弦,以比较弦在园内的分布情形。也可以说,贝特朗悖论不是悖论,只是问题中没有明确规定随机选择的方法,方法一旦定好了,问题自然也就有了确定的答案。


3:弦的“中点”在3种方法中的分布情况


4:“弦”在3种方法中的分布情况

本篇前部分通过介绍初等概率论中的几个悖论,我们初步了解了十分重要的贝叶斯定理及其应用,后半部分则认识了几何概型。概率论中悖论很多,基于经验的直觉判断很多时候往往并不靠谱。下一篇将要介绍的本福特定律,也是一条初看起来有些奇怪、不合直觉的定律,不过这条定律用处挺大,甚至还能帮助侦破“财务造假”,且听下回分解。


王宏检查问题的补充和修正:


有关贝叶斯,科学网上2013年,就有一篇很好的科普文章:

如何理解贝叶斯

http://blog.sciencenet.cn/blog-103568-707316.html



参考资料:

1】维基百科-贝叶斯定理:https://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86

2wikipidiaBertrand_paradox_(probability)

https://en.wikipedia.org/wiki/Bertrand_paradox_(probability)

本文同步发表“知识分子”微信公众平台




概率问题与贝叶斯定理
http://blog.sciencenet.cn/blog-677221-1042909.html

上一篇:上帝教人掷骰子-“神童”帕斯卡与概率论
下一篇:浅谈分布之分布(beta分布)-贝叶斯分析之1

32 武夷山 蒋迅 钱大鹏 赵凤光 蒋德明 庄朝晖 高山 鲍海飞 迟延崑 孙学军 吕洪波 张启峰 强涛 林涛 康建 章雨旭 文克玲 赵克勤 陆绮 梁进 刘学武 周洲 李天成 朱林 qiue mxt110 sunjian1016 xlsd yunmu dialectic say8818 icgwang

该博文允许注册用户评论 请点击登录 评论 (53 个评论)

数据加载中...

Archiver|科学网 ( 京ICP备14006957 )

GMT+8, 2017-5-29 15:46

Powered by ScienceNet.cn

Copyright © 2007-2017 中国科学报社