生存生活生命分享 http://blog.sciencenet.cn/u/montec007 友诤友直友谅

博文

答徐晓兼复老邪(2)——腐儒与力博儒之争 精选

已有 6346 次阅读 2017-4-9 10:35 |个人分类:RnR|系统分类:科研笔记

徐晓:概率,机会与隶属度小议

【1】答徐晓(1)——明天会下雨吗?

【2】两个系统看世界

【3】如何理解贝叶斯?

【4】结构可靠度理论与应用的瓶颈

【5】结构可靠度的红旗还可以打多久?

【6】概率的红旗依然飘扬——兼议近期贝叶斯的讨论

【7】有关贝叶斯的一道补充习题

背景

上面的博文【2】写于2013年暑假访问湖南大学期间。当时老邪留言,问了我这样一个问题:怎么分别标记先验知识和后验知识的可靠性。他后来进一步补充解释这个问题的来由:“作某一次试验以前,我们有一个先验概率。试验以后,我们更新了原来的先验概率。如果变动很小,问题不大。但更新的幅度太大,就会有一个问题:一次新试验,能引起这么大的变动吗?所以就有这么一个非常实际的问题。” 我当初胡乱地答了一通,这些对话都记录在网,有兴趣的朋友点击进去就能看到。

这几天的讨论,我想如果老邪健在,他可能会要重问我这个问题。他当时没有给我回馈,但我猜他对我的回答不会满意。这两天的讨论,给我一些启示。每个人认识问题的角度不一样。如果光是为了解决某个具体问题,我们可以满足于自己对某一个概念的把握;但如果是教学,我们要能应付得了形形色色的问题,就得强迫自己从他人的角度来理解他们的困惑。如果我们只是一味坚持在自己的话语体系里头自说自话,最终我们只会陷入Tower of Babel之中,循环着定理一和定理二的错误,无法实现有效的沟通。其实写文章也是一样,如果不注意降低聊天的视点,别人无法真正理解你从哪里来,到哪里去,为什么要走那条路,等等等等。

今天着重聊一聊高山老师提到的一个问题:一个个体患病,能不能用贝叶斯的方法来分析?

这个问题得瓣开来慢慢讲。质胜文则野,文胜质则史。冒着迂腐的风险,慢点来。

这个问题分几部分:个体患病能否用概率来描述?如果可以,那么在一次检测结果出来后,能否采用贝叶斯方法来计算?再一步,假设一次检测为阳性,另一次检测结果为阴性,怎么办?

一  先验概率

个体患病的不确定性能否用概率来描述?这是许多博友的问题。科学网有意思的地方,是大部分人都学过概率论。学过不代表真懂,原因很多,一是学生时代没有认真学,二是老师也没有认真教,三是老师可能也没真懂,教材也操蛋。具体分布嘛,科学网下,原因一大概占95%,科学网上,原因三大概占95%。为什么这么讲呢,好几个朋友在讨论区讲:概率只是用来描述总体的,怎么能用来描述个体呢?

老师的职责就是先把自认为懂的学生搞糊涂,然后让他们自己去悟懂。

G君身体不适,去看医生。江湖医生Y看了一回,开了一味六味地黄丸。服用六天一个疗程,症状没有任何改善。G君重访。医生Y怀疑某种怪病ED,却不能肯定。医生Y说,G君,你可能ED了,但也可能没有ED。G君怒了:你个庸医,我到底E没ED?医生Y不急不慢:历史统计数据表明,人群中患ED的概率是万分之一;如果我们不再深入检查,我现在只能是将你归为万分之一的可能。

到此,请问读者诸君,你们认为这个医生与病人之间进行了有效沟通了吗?换句话说,你们认为G君能够理解医生Y的那句话吗?

许多朋友说,一个个体,是否患病,是就是,不是就不是。哪有什么概率可言。兄弟,你这完全搞混了概率是用来干嘛的。如果一个个体最终是否患病我们都不清楚,那是我们在概念的定义上出了问题。而实际上,现实中确实存在无法就概念的定义达成一致的情况。比如对一个脑袋上只剩下七根头发的细毛(长沙话),你叫他秃子呢还是不是秃子呢?这是模糊数学试图解决的问题。

概率方法试图解决的问题是,某个不确定事件,它有可能发生不同的结果,但是我们对真正的结果并不确知。注意,这个不确定事件,并不仅仅可以用来指代将来待发生的事件,它也可以应用于正在发生的和历史已经发生了但不知道结果的事件(考古、侦查、司法都用概率论哟)。在概率论当中,我们将所有可能发生的结果的集合称为总体。但请大家一定一定要分清,概率论中的总体,并非天然地等同于统计学中的总体。

概率就是我们用来量化不确定事件取不同可能结果的可能性的。G君有90%的可能患有ED,S君有5%的可能患有ED。我们都明白这两个数字代表什么意思。这个90%或5%并不是什么统计意义。而是我们对G君可能患病这个不确定事件的某种估计。

到目前为止,没有统计。重要的事情要多说几遍,概率的定义没有用到统计。

这第一个问题还没有完。回到前面的例子,医生Y说在检查之前,他只能认为G君患ED的可能性有万分之一。这里我们需要讨论两个问题?第一,万分之一怎么来的?第二,万分之一的感性认识。第一个小问题,就是老邪问的先验概率的标记(我认为是标定,validation)的问题。群体患有ED的比率为万分之一,为什么要将这个比率套在G君身上?这是一个很好的问题。但我可以反问:你不用万分之一,还有其他更好的办法吗?

有两种方案,一种是,因为没有其他更有用的信息,所以我们只能回归统计母体。咦,我开始讲统计了。是的,万分之一是统计出来的结果,我们当然得讲统计。那么,这个统计结果,在没有其他更有用的信息前提下,能否适用于G君呢?我认为是可以的。人人都有这个基础风险。另外一种方案:因为没有任何信息,G君的先验概率应该是一半一半啊;50%可能得了这个病,50%没有得这个病。历史上,帕斯卡Pascal就这么认为。所谓的insufficient reasoning. 大家觉得呢?

二  贝叶斯方法

现在医生Y给了G君开了检查单,G君划完价回来就开始骂娘,TMD,什么破医院,做个这种鸟检查(确实是查鸟的)也得老子七百大洋。边上G君太太急了,达人(Darling),你是要性福还是要性福还是要性福?G君无法,只好就范(古汉语是不是叫入巷?)

检查结果出来了,阳性。这阳性可是说他那玩意儿能举,而是说,他疑似ED!G君吓坏了,当然吓得更坏的是G君太太。

医生Y可不这么认为。首先,他要想的是如何平稳病人的情绪。许多人不是病死的,都是吓死的。经有过北美医学院系统住院训练的医生Y知道心理作用的重要性。他更知道这个检测系统的可靠性。这套通过天朝卫生部和计生委认证标定的检测系统,具有很高的可靠性,但仍然无法达到100%的确诊率。准确地讲,(对不起,我不知道你们这里的术语,若用术语会更可爱一点),针对十万个ED患者,只有两个漏检为阴性;针对十万个非ED患者,可能只有一个误检为阳性。

医生Y知道G君是生物学博士,机器学习的高人,模式识别的大牛。于是和G君解释这个问题。他说:假设我们让A 代表你患病的可能,Ac代表你不患病的可能。B代表检测为阳性的可能,Bc代表检测为阴性的可能。我们这套系统的可靠性比较高,根据我们卫生监管的标定结果,我们已知 a = P(Bc|A)=  2x10-5, b = P(B|Ac) = 1x10-5.你现在检测为阳性,并不说明你患病的概率就是 P(B|A) = 1 - P(Bc|A) = 1-a = 99.998%。这是因为,你不要忘了,这个检测还有可能有假阳性。这个假阳性率也有1x10-5呢。因此,如果我们根据贝叶斯牧师的不确定性推理原则,我现在认为在这个检测结果为阳性的前提下,你患病的概率应该这样计算:

P(A|B) = P(B|A)P(A) / [P(B|A)P(A) + P(B|Ac)P(Ac).

把前边我解释的数据代进去,你患病的概率大概是 1/(1+0.1) = 90%,没有那么糟糕。也就是说,尽管我们的检测手段非常好,我们仍然没有好到不需要考虑假阳性的可能。如果我们系统没有假阳性,即b = 0,那么这个概率就是1,也就是老百姓常讲的确诊啦。可是,对不起,我们现在无法确诊,因为总有假性。但是,不管怎么样,现在概率还是蛮高的,我们暂时只好按ED来治。这回不吃六味地黄丸,改吃附子理中丸。

故事讲完了,读者诸君认为医生Y的分析有没有道理?有没有问题?

大家如果没有问题,我向大家请教两个问题: 第一,如果帕斯卡先生在世,他会不会说这个后验概率应该是这样计算: P(A|B) = P(B|A) / (P(B|A) + P(B|Ac)?  这正是我在文【7】中的答案B。第二,贝叶斯公式实际上是条件概率和全概率公式的应用,但是P(B|A)P(A)到底是什么意思?能不能直接应用?有朋友担心这里涉及到统计本体转移的问题。比如,有人说,P(A)是一个具体个体(G君)的不确定性度量,而P(B|A) 是一个可靠性标定值,其中的A指的是任意一个个体。这种担心有道理吗?

三 多次试验

现在回到老邪先生生前问过的问题,“一次新试验,能引起这么大的变动吗?” 在我们上面的具体例子里,起初的先验概率只有万分之一,一次检查之后,就提高到了90%。这能行吗?这样的诊断靠谱吗?

要回答老邪的问题肯定不能从公式本身来看。但在我再一次天马行空回答他老人家的问题之前,我还是先在公式所及的范围内讨论一下。这个诊断靠不靠谱,现在大家可以看到,(在这个模型前提下)完全取决于检测系统的可靠性。系统的可靠性越高,一次试验数据的信息量越大,那先-后验概率的变化就越大。许多初学贝叶斯统计的人都推导过在non-informative先验分布下,母体均值的后验分布随着数据量增大逐渐收敛到真值的这个结论。因此,不自觉地在对待这个诊断具体问题时,就会产生一个错觉,为什么这里的概率一下子变化那么大?别忘了,我们这里的概率模型是一个贝努利二值模型。

后验概率的标定,我现在觉得可以这样做。仍然以前面的诊断为例。现在医生Y对这个病例的后验概率从原先的万分之一提高到90%。那么,如果我们再做一次检查,我们预期得到阳性的概率是多少?阴性的概率是多少?

为了解释的方便,我们记第一次阳性检查结果为B1,第二次阳性结果为B2,阴性结果为B2c。那么有:

P(B2|B1) = P(B2|A,B1)P(A|B1) + P(B2|Ac,B1)P(Ac|B1) = P(B2|A)P(A|B1) + P(B2|Ac)P(Ac|B1).

B2c的结果就不提了。取决于标定的置信度,我们据此确定需要检查的次数。这个正是我们在核电站检修项目中经常使用的办法。

四 阴阳之争

其实回答了老邪的问题,另外的一些博友提的两次试验一阳一阴的问题基本不值不提了。大家老老实实地应用贝叶斯公式算就是了。P(B1,B2c|A) = P(B1|A)P(B2c|A), P(B1,B2c) =  P(B1|A)P(B2c|A) + P(B1|Ac)P(B2c|Ac).

另外加一句,我前面写上了这个检测的费用可不是白写的,本来是想讨论一下这个检测的边际成本的问题的。今天太累了,先写到这了。有兴趣的同学可以想想,做一次检测,将概率从万分之一提高到了90%,花了七百大洋;做两次检测,可以将概率提高到多少?再花七百大洋值得吗?实际上,这就是我现在的研究课题之一。现在大家都玩大数据,但不搞数据经济学不行啊。

五  致谢、感言

科学网有两个高山,一个做量子物理的高山,大牛;另一个做生物的高山,也是大牛。量子高山很少露面了,生物高山非常活跃。

感谢生物高山的争鸣,促发我写下这个我自认为还有些价值的博文。我在这个写作过程当中再一次让自己的观点得到精确化。之前一些迷糊的观点也可以解释得更清楚了。

感谢各位博友的“胡说八道”,让我明白,每个人的视点相差很大,有些观点很简单、朴素、直观 、错误。解释这些错误的直觉,通常很难。

感谢大家维护科学网的人气与学术讨论的风气。

对标题的解释:腐儒是指conservatism,不愿意引入主观概率的人。力博儒是指liberal,认为世上本来就没有客观概率。



概率问题与贝叶斯定理
http://blog.sciencenet.cn/blog-103568-1047672.html

上一篇:高山同学在概率问题上的正确与错误
下一篇:高山老师,你是对的!

20 武夷山 陈楷翰 贺江舟 陆绮 程帅 周春雷 朱朝东 戎可 戈鋆 王德华 文克玲 马省伟 周洲 刘全慧 饶东海 丛远新 杨正瓴 张天蓉 liyouxi yzqts

该博文允许注册用户评论 请点击登录 评论 (24 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2020-2-19 03:29

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部