科学出版社分享 http://blog.sciencenet.cn/u/sciencepress 中国最大的综合性科技出版机构之一,科学家的出版社!

博文

投向统计学的重磅炸弹:辛普森悖论

已有 9543 次阅读 2015-6-24 08:37 |个人分类:科学书摘|系统分类:科普集锦| 科学出版社, 统计陷阱, 辛普森悖论, 赵焕光, 真理相遇统计

本文为统计陷阱之三:辛普森悖论式的陷阱。

辛普森悖论式陷阱

"辛普森悖论", 英国统计学家辛普森在1951 年发表的一篇论文中首次提出:"在某些情况下, 在分组比较中占优势的一方, 可能在合并后的总评中成为失势的一方."

先考察一个简单的例子.

案例一:药效悖论

某研究单位研究出一种新药, 为了检验药是否有效, 人们对一组患者进行试验. 试验中, 给予一些患者真正的新药, 而其余患者则给以"安慰剂"(不含药物的药片). 结果见表1.

表1 药效试验表


试验次数

成功次数

平均

药物

100

66

66

安慰剂

40

24

60

这一试验似乎成功地确认了新药比安慰剂更有效——试验中, 66%服用新药的患者有改进的表现, 而服用安慰剂的患者有改进表现的只是60%.因为结果相近, 另一位研究者决定对这一更大的患者组重复这实验. 得到如下结果(表2).

表2 药效重复试验表


试验次数

成功次数

平均

药物

200

180

90

安慰剂

500

430

86

服用新药的患者的表现又一次胜过服用安慰剂的患者. 两位研究者对这一发现感到兴奋, 决定把他们的数据合并起来公布结果. 但是, 他们困惑地看到了最意想不到的结果(表3).

表3 药效试验合并表


试验次数

成功次数

平均

药物

300

246

82

安慰剂

540

454

84

尽管在两次试验中新药都曾比安慰剂成功, 但是将两项试验合并起来时, 服用安慰剂的患者竟然比新药更成功. 这个结果是否太让人感到惊奇了?这里的疑惑,其实就是辛普森悖论的翻版.

"辛普森悖论" 还有许许多多的现实版. 下面再介绍两个有趣的例子.

案例二:录取率悖论

20 世纪70 年代, 加利福尼亚大学伯克利分校就曾讨论过录取时出现的所谓"女性歧视". 《科学》杂志甚至发表过一篇文章, 阐明这其实是一个辛普森悖论的经典案例. 申请与录取人数的确切数据见表4.

表4 申请与录取人数数据

系别

男性申请者

录取

比例/

女性申请者

录取

比例/

英语

825

512

62

108

89

82

俄语

560

353

63

25

17

68

西班牙语

417

138

33

375

131

35

意大利语

373

22

6

341

24

7

总计

2175

1024

47

849

261

31

我们再次清楚地看到:每个系的女性录取率都高于男性, 但总体上女性录取率还是要低一些——只有31%被录取. 这能说明女性受到了歧视吗?

从表4 可以发现:申请英语系的人多数被录取(共约64%), 意大利语只有6.5%. 由于男性大多选择容易被录取的系别, 迫使大部分女性只能选择录取条件更高的两个系. 所以总和上女性录取率低就不足为奇了.

案例三:准点率悖论

美国航空协会每年要会出版一部《准点率汇总》. 此书调查30 个入选机场中航班到港的误点百分率. 每个航空公司都有其"中心区" 或"空中十字路口"——航空网络的枢纽, 航线由此出发呈放射状向四面八方分布. 西美航空的枢纽是亚利桑那州的菲尼克斯, 那里的天空整年都很蓝. 过去, 30 个大型机场中, 较小的阿拉斯加航空公司只能飞往其中的5 个. 其位于美国中心地区的航空枢纽是西雅图, 位于最西北端, 是一个真正的多雾之地. 1991 年, 两家公司飞经的5 个机场误点数据见表5.

表5 个机场误点数据


阿拉斯加航空

西美航空


航班数

误点率/

航班数

误点率/

洛杉矶

559

11.1

811

14.4

菲尼克斯

233

5.2

5255

7.9

圣迭戈

232

8.6

448

14.5

旧金山

605

16.9

449

28.7

西雅图

2146

14.2

262

23.3

总计

3775

13.3

7225

10.9

阿拉斯加航空公司在所有5个机场都更为准点, 但总体上却是西美航空公司更为准点!可是何种考察方式才是正确的呢?是总体观察还是注重细节?完全可以说:详细的图表为我们提供了表面现象之外的信息, 并可以将此现象完全导向其反面. 从表5 中可见, 小航空公司不论天气好坏都比其竞争对手更为准时.

点评从以上几个典型的辛普森悖论真实翻版中, 我们可以得到有益的生活启示:

拿一个团体和另一个团体比较的统计方法很容易犯错, 其原因是一个团体中个别成员的差异远大于团体与团体间的差异.

辛普森悖论被人们称为是"投向统计学的重磅炸弹". "不合情理", 却无可挑剔; 精致无比, 却让人难以接受. 然而, 如果稍微探究其数学实质, 那么不难发现, 在它诡异的外表掩藏下, 内部却十分简单:


本文由刘四旦摘编自赵焕光、章勤琼、王迪著《真理相遇统计》一书。《真理相遇统计》从统计学科的特色、人文欣赏的视野着手,运用通俗生动的语言,精彩有趣的故事、丰富典型的案例,介绍统计文化的常识及其统计在现实世界中的广泛应用.主要内容包括为何学统计、统计应用概说、统计陷阱概说、统计历史人物故事精选、统计数据概说、统计数据收集、统计数据组织、统计数据概括、统计指数概说、时间数列概说、随机抽样与抽样分布、参数估计与假设检验、检验与方差分析及其相关与回归分析.本书可作为高等院校所有专业的本(专)科生、硕士生、中学智优生、中学数学教师,具有一定数学与统计基础的高校教师以及其各行各业的行政管理人员的数学与统计文化修养提高读本,也可作为高等院校本(专)科各个专业的选修课教材或教学参考书.

非经授权,请勿转载

转载请留言或联系:(010)64000159

科学出版社│微信ID:sciencepress-cspm

专业品质   学术价值   原创好读   科学品味



https://blog.sciencenet.cn/blog-528739-900191.html

上一篇:SCIENCE CHINA Life Sciences 出版“糖尿病性视网膜病变”专题
下一篇:《中国科学》《科学通报》2014年度SCI影响因子普遍提升
收藏 IP: 221.123.188.*| 热度|

8 杨正瓴 应行仁 张文军 武夷山 徐晓 吴国林 韦玉程 高建国

该博文允许注册用户评论 请点击登录 评论 (10 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-23 14:25

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部