思想海洋的远航分享 http://blog.sciencenet.cn/u/xying 系统科学与数学水手札记

博文

检测诊断与贝叶斯公式 精选

已有 18665 次阅读 2017-4-29 08:26 |个人分类:科普|系统分类:观点评述| 科普, 贝叶斯, 概率

张老师贴个科普概率的帖子,用了贝叶斯公式,联系起仪器性能指标与预测的准确率,它们都可以用概率来表示,却具有不同的含义,人们常把它们混为一谈。张老师的科普意在指出它们虽然不同,但存在着数学关系。质疑者困惑于仪器性能指标与判定概率的巨大反差,作了各类反应。至此楼歪了,质疑者多以无关概率计算的论据来评论这个故事,贝叶斯公式,知者固觉浅显,惘者益加不解,转为娱乐搞笑,科普反而造成吃瓜群众对概率更多的迷惑。

我现在换个方式,看能不能把它讲清楚。人们常用仪器或某种方法检测物品,这检测的只是物品的属性,却用以区别物品的分类。检测对分类的判断总是有误差的,这误差或精确性可以用不同方面的概率数值来表示。例如验尿查红血球,用来判断是否肾癌膀胱癌尿结石这类大病或者不是这些病。当然现在去医院不只查这一项,分类也不止怀疑这些病,医生喜欢一次开了一大堆检查,不用替病家省钱,我们只是用这种简化的例子,来说明几种概率间的关系,强调检测从来只是查属性,并不可能直接知道病类的本身,在血检和判病都是二分时,检测阳性只是预示可能有病,并非能够确定有病。但这个概率估计对你的进一步行动有指导意义。(被计算举例的批判搞怕了,先出一个罗嗦的免责声明,能接受想了解概率计算合理性的人往下看,只谈金标准的可以离席了)。

A为有x病的事件,B为检测到某个相关指标阳性的事件。检测机器的性能用两种指标来表示,有x病情况下检查出有关某指标为阳性的概率,称为敏感度(sensitivity),用概率表示是P(B|A),无x病查出阴性的概率,称为特异度(specificity),为P(~B|~A) ;检测出阳性被证实有病的概率,称为准确率(precision),即P(A|B),而检测用来辨识分类的正确率Acc,称为检验的精度(accuracy)。它们是模式辨识的标准术语。这四者都用百分比来表示,简称也相近,都是某种精确性的意思,人们常常把它们混淆起来。

一般检测的敏感度和特异度都很高,否则不好用来分类查病,但它们毕竟只是仪器或检测方法上的性能,并不代表着用它们来判断分类的准确率就很高。因为怕吃瓜群众没文化,一般检查都不告诉他们这些指标的概率,查到阳性接着查别的,这些指标留着专业人员看。美国医生常告诉病人,没专业知识不要上网查。要是作死自己上网查,见到x病血检阳性失误率只有1%,以为这就有99%的可能性中标,紧张起来就麻烦了。科学网有人建议,别给愚昧民众多罗嗦,直接告诉他这是两码事,接着查别的打发走就是了。张老师想科普贝叶斯,借医生安慰不安者的剧情,来解说正确的概率计算。这个计算就必须牵涉到群体的患病率P(A),拿俗话来说,检测出阳性者的实际患病率,不仅与检测性能有关,还需要乘上世界人民的患病率。用贝叶斯公式表示如下:

P(A|B)=P(A)P(B|A)/(P(A)P(B|A)+ (1-P(A)) (1-P(~B|~A))))

比如说某种检测的敏感度P(B|A)=99%,特异度P(~B|~A))=99%,世界人民有0.1%得这病,检测判断为阳性事后,被证实确实有病其实只有P(A|B)=9%. 这下有些人愤怒了,这原来查出阳性的99%检测精度,怎么经过计算就变成了9%了!这医生该打机器得砸!

张老师为了科普贝叶斯,故事里无意打破了医生忌禁的潜规则。如果不满这一点,说一句就是了。怕会引起群众的误解,就应该多做科普。用反对贝叶斯公式计算,压制群众求知,不是让人更加误解日常中许多的概率说法?

这里的贝叶斯公式改变了什么呢?不是一些人以为的99%准确率,经过计算变成了9%,而是对患病的估计,从0.1%的先验群体患病率,测得阳性指标后,升高到9%的后验可能性。那个99%是检测机器性能,它测的只是血中一些指标的敏感度和特异度,或者称作是真阳性和真阴性的概率,不是患病可能性。故事中的王宏弄不清它们的区别,科学网里有些人也是如此糊涂的。

从血检性能和群体患病率计算出阳性患病率,不同时期不同群体的患病率是不同的,因此同一个检测结果,对应着阳性患病率也是不同的,例如检测出PSA阳性,同一个数值,对男人和女人,对不同年龄段的人,预测前列腺癌的可能性都不一样。同一个阳性指标在平时和役病流行时预测的患病可能性也不同,这些已是常识。但想知道具体的概率数值,你就需要计算,因为检测说明书只能提供那些不随应用情况而变的敏感度和特异度功能性指标。具体应用群体的阳性患病率,必须通过贝叶斯公式来计算。有时对常见的不同群体,检测单位也预先算出列表供给医生和病人参考。但这不意味着机器性能指标和预测准确率没有贝叶斯这个关系。

为什么还要给群众科普?因为现在不实广告,专家误导太多,打官司查骗子,他们数据并非造假,吃瓜群众上当后,欲哭无泪,只怪自己没有文化。看下面例子。

某仪器广告说,它的灵敏度极高,只要有x病,检出率是99%,只卖99元为了扶贫。你很高兴买回来,发现只是个改制的体温计。得x病的有99%发烧,广告检出率数据并没错,得x病时确实有99%,它都显示出阳性。但综合其他数据算出这测有阳性真正患x病的不到2%,这是你自己无知没想到的。

某专家宣称重大发明,他先进的检测方法,只要测出阳性几乎99.9%证实都是癌症。他没造假,只是到了癌症晚期有大量癌细胞时,他的方法才能显示出阳性,这时99.9%确是癌症。你可能没想到,这预测准确性与要评估的检测功能指标是两回事。

有个机器坏了,运行很长时间后,统计发现它的检测正确率反而提高了,从过去还不错的99%,提高到99.9%,原因是这坏的机器总是给出阴性的报告,而它检查那个病只有0.1%的患病率。

有人说这是玩数学游戏。对。但玩这游戏的是那些骗子,不是希望民众了解这些概率真正含义和正确计算方法的科普。

初等概率其实很简单,公式和推理不过是初中的数学,经典的例子不外乎扔钢蹦掷骰子。人人读后都以为懂了,其实很多人糊涂就在于,一开始就没弄清楚这些概率指的是什么。

P.S.

张老师科普故事的原文在假阴性、假阳性上有笔误,说“测试的准确性”比较含糊,但这些都不难从上下文中自己直接纠正。书刊论文都不如教科书那样反复校对,做研究的人通常以理解作者文中真义,而不是低看作者的方式来读顺这些笔误和含糊之处。我的文章一定也会有这类笔误,希望读者指出纠错,但如果讨论只着眼纠缠于这些细处那就没意思了。




概率问题与贝叶斯定理
https://blog.sciencenet.cn/blog-826653-1051839.html

上一篇:预测混淆与贝叶斯公式
下一篇:概率的理解和应用
收藏 IP: 50.185.163.*| 热度|

26 陆绮 徐令予 黄永义 徐晓 刘全慧 袁贤讯 田云川 戈鋆 李天成 王军军 张天蓉 姬扬 戎可 吕洪波 饶东海 马德义 杨会杰 惠小强 xqhuang haipengzhangdr zjzhaokeqin bshhzai xlsd mistake yunmu icgwang

该博文允许注册用户评论 请点击登录 评论 (59 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-23 05:03

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部