willtongji的个人博客分享 http://blog.sciencenet.cn/u/willtongji

博文

我所理解的统计思维

已有 1544 次阅读 2017-4-10 08:41 |系统分类:教学心得

说明:本博客与微信公众号《嘉数汇》部分同步更新,内容大部分原创。请扫码关注《嘉数汇》公众号。


美国著名的小说家Mark Twain(马克吐温)在1907年的自传里,引用了曾任英国首相的Benjamin Disraeli的一段话:

There are three kinds of lies: lies, damned lies, and statistics.

由于Mark Twain的高知名度,这句话因他说了之后,便广为流传了。

大家都学过多年数学,对于为什么要学数学,原因之一当然是生活上,及专业上,会用到一些数学,也就是数学可视为一种工具。而一个数学精通的人,则往往具有逻辑性强,计算精准等特征。那么统计学呢?

统计学现在一方面越来越重要,人们在做决策时,非有统计不可,把统计当护身符。同时也有像Mark Twain这样的对统计嗤之以鼻。即使在学术界,不少人也都认为统计不过就是数学的一部分而已;但更多的统计学家则认为并一再强调,统计与数学是完全不一样的。

我们可能比较容易感受到什么是具有经济头脑,什么是具有文学细胞,以及什么是具有音乐素养。那什么是具有统计头脑?统计细胞?以及统计素养呢?就不易讲得明白了。这篇文章就试图通过阐释统计思维的方式,来谈谈上述几个问题。

1、正确理解统计思维的重要性

让我们先来看一个例子。1985年11月,一位美国学者Gary Taylor在英国牛津大学的一图书馆找到了一首诗(姑且称为“Taylor诗”好了),引发了一场英美研究莎士比亚文学作品的学者们的口水大战,争论的焦点就是此诗是否为莎士比亚所作。

不少专家认为这首“Taylor诗”,不论是用字遣词,还是韵味风格,都迥异于莎士比亚其他作品。论战两个月后,1986年1月24日出版的Science 杂志刊登了一篇“莎士比亚的新诗:向统计学致敬”(Shakespeare's new poem: an ode to statistics)的文章,介绍两位统计学者Efron与Thisted如何以统计方法鉴定这首“Taylor诗”是否为莎士比亚所作的过程。

Efron与Thisted的方法是这样的:每个人都有其各自的用字习惯,特别是对于生僻字,每个作者使用的习惯差异可能更大。在莎士比亚已知的总作品中,共有884,647个字,其中有31,534个相异字。这些相异字中,有14,376个字从头到尾只出现过1次,有4,343个字只出现2次。出现几次的字都被计算出来。那些在总作品中, 出现频率较低的,就是莎士比亚的生僻字。依据这些数据,假设这首共429个字的“Taylor诗”为莎士比亚所写,他们估计会有几个字,在总作品中从未出现(也就是新字),只出现1次,2次, ……,一直到曾出现99次,都给出估计值。实际情况与估计非常吻合。

这样做还不够,会不会当时代的诗人用字习惯都差不多?于是,两人又找了三位大致与莎士比亚同时代的诗人,各取其一首诗,及另取四首莎士比亚的诗,与这首泰勒诗做比较。经过3种统计检定发现对前三首,若假设为莎士比亚的作品,罕用字出现次数之实际值与估计值皆不吻合。而所挑选的四首莎士比亚的诗,虽偶有不合,但总的来说是可接受的。Efron及Thisted说,他们的分析并无法完全证明“Taylor诗”为莎士比亚所写,但在罕用字之使用情况,如此与莎士比亚的总作品吻合,确实令人惊讶。

一场文学上的争论,经统计学家发声后迅速平息,难怪要向统计学致敬了。运用统计方法来做决策,反映的是一种客观及合理的思维。与其主观的争论风格相同否,还不如以客观的统计方法来判定。但如何才算已经够客观?除了只检验“Taylor诗”外,Efron和Thisted还拿了几位与莎士比亚同时代的诗人来比较,这样做就更保险了。免得万一莎士比亚那个时期的诗人,有如时尚般,生僻字之使用习惯类似,则此检定就没有什么参考价值了。

统计正如我们的思维,客观至上,否则便是自欺欺人。反之我们的思维若是统计式的,便是极客观的。

英国剑桥大学教授苏斯伦德(William J. Sutherland)等2013年在《自然》杂志上发表了一篇名为“解读科学观点时应该知道的20个事实”的文章,阅后发现其中提到的科学事实都与统计思维有关。

现代科学研究中统计学是最重要的工具之一,英国著名生物学家高尔顿曾说过:“统计学具有处理复杂问题的非凡能力,当科学的探索者在前进的过程中荆棘载途时,唯有统计学可以帮助他们打开一条通道。”运用科学研究结论辅助现实决策时,须具备良好的统计思维,才能对科学结论保持清晰认识,更准确地解读结论背后的科学真相。

大数据时代从信息不足转变为信息泛滥,信息匮乏的危机让位给信息甄别的困难,如此背景下科学方法成为每个人的必修课。在日益依赖数据的今天,树立正确的统计思维,才能有效地开展数据处理与分析。当今世界正步入信息爆炸的大数据时代,统计越显重要,验证了英国科幻小说作家H·G·威尔斯的预言:“统计思维总有一天会像读写一样,成为一个有效率公民的必备能力。”

统计学被广泛应用于各门学科之中,从自然科学到人文社会科学,甚至是工商业及政府的情报决策。作为认识自然、社会的工具和手段,统计研究客观现象的数量关系,帮助政策制定者理解科研证据对决策的作用。正如现代统计学的奠基人费歇尔所讲:“给20世纪带来了人类进步的独特方面是统计学,统计学的普遍存在以及在开拓新知识领域方面的应用已远远超过20世纪内的任何技术或科学发明。”

马寅初曾说:“学者不能离开统计而究学,实业家不能离开统计而执业,政治家不能离开统计而施政。”统计思维是在获取数据、从数据中提取信息、论证结论可靠性等过程中表现出来的一种思维模式,对于人类提高认知起到巨大的作用。无论是解开自然奥秘的科学调查,或是考查早期匿名文学作品的作者、给出考古文物的时间年表,或是解决法庭争端以及做出最佳决策等,统计思维都起到不可替代的重要作用。

统计学是一种由经验到理性的认识,是一种运用偶然发现规律的科学。它不只是一种方法或技术,还含有世界观的成分——看待世界上万千事物的一种方法,人们常讲某事从统计角度看如何,指的就是这个意思。统计思维的养成不但需要学习一些具体的指示,还要能够从发展的眼光,把这些指示连缀成一个有机的、清晰的图景,获得一种历史的厚重感。正如德国的斯勒兹曾讲道“统计是动态的历史,历史是静态的统计。”

从统计学的角度看,人们从经验或实验中所获取的知识是含有不确定性的,统计关注的是这种知识当中所含不确定性的度量问题,一旦能得到不确定性的量度,人们的知识就得到扩充,对世界的认知就朝前跨越,这个过程在人类知识积累的进程中不断重复。难怪有人总结道:

在终极的分析中,一切知识都是历史:我们现在拥有的知识都是对过去发现的事物的归纳总结以及衍生;

在抽象的意义下,一切科学都是数学:所有的知识都可以归纳为对数学的推理和运算;

在理性的基础上,所有的判断都源于统计学:所有的判断都是对过去的规律总结,也就是说,根据过往的数据简历概率模型,判断未来的趋势。

2、什么是统计思维及其常见方式

首先我们来看看,统计学究竟在做些什么?

从随机性中寻找规律性,是统计的基本思想,也是统计的魅力所在。

简单来说,统计学里所表达的两个核心理念就是:

  • 允许误差下的概率保证;

  • 允许误差下的统计推断。

我们在中学里面所学到的知识探讨的多半是必然性的问题。当它说1就是1,不会有任何误差。而一个命题一旦被证明是对的,问题就会一直对下去,不会有例外,除非你能找出证明的漏洞。而在统计学里面,则是处处存在随机性问题。它允许有误差,没有误差反令人怀疑其中有假。统计也会对一个问题拍胸脯保证,但它的保证都是基于概率形式的。而且所能保证的概率,不但不是百分之百,而且还附有误差。统计里则处处是“说不准”。例如,宣称某饮料的容量有百分之九十五的概率介于425毫升至431毫升之间,就是一典型的统计上的保证。统计代表了一种我们看待这个世界的方式。

在随机的世界中,真相往往难以大白,一切都是假设,就看你愿意接受哪一个。而接受的含义,就如同在婚礼上,当新娘点头说“我愿意”,并不表示这位新郎就真正是最适合她的。只不过是“目前她愿意接受”。同样地,在统计里接受不表示为真,拒绝也不表示为伪。统计学家的判定,都会给出误差,是一种允许误差下的统计推断。

概率和误差,构成了统计思维的两大支柱。并发展出统计学里几乎所着的关键要点。

统计学里的方法,和人们的思维方式有一定的对应关系。下面我们就来列举下统计学中常见的思维方式。

(1)要有善于利用数据的思维

“ Data! Data!Data! ” he cried impatiently. “ I can’t make bricks without clay. ” 这是著名小说中福尔摩斯(Sherlock Holmes)说过的一句话。

没有规矩不成方圆,没有黏土不成砖墙,没有数据则无法决策。

福尔摩斯可以依命案现场的一些蛛丝马迹,推测凶嫌可能惯用左手,或可能经过一片果园。算命看相者,所仰赖的也是资料。收集很多不同的面相及八字等的命运,当“阅人多矣”后,自然容易依据人的面相等,分析其前程。那些善于看透人性者,不也是阅人多矣吗?做决策要有数据,每一项数据,都可能是有用的信息。统计学家的本事要能发挥,就得善用信息。因此对于统计学家,数据有如老鼠所爱之大米。

(2)要有善于捕捉不确定性的思维

宇宙的运转,有必然性与随机性交错着进行。例如,我们知道哈雷慧星每76年接近地球一次(这是必然性)。虽然我们能知道76年后的事,但明天会不会下雨?就不是那么确定了(随机性)。又如,将手上的硬币松开,在中学物理课程里学过,如果忽略空气阻力,则在高度固定下,硬币落地所需时间,是个定值。但落地后那一面朝上?就无法预知了。这就是不确定性。

人们对未来,知道大致会发生哪些事,以及何发生,但又不能完全掌握。在随机世界里,必然性使人们愿意事先好好准备,而不确定性则使人们对未来,充满着盼望或者恐惧。光有必然性的世界,亳无变化,则对未来缺乏盼望,会让人们丧失努力的动力。而光有随机性的世界,只靠运气,将让人失去积极认真向上的决心。三分天注定,五分靠打拼,两分靠运气。这是造物者伟大的设计。

由于不确定性的存在,我们所能做的,就是要了解它,很多时候还要设法减少这些不确定性。因此,我们的先辈针对随机的世界,总结了一些所谓的法则来应对这样的不确定性。例如,大数法则(law of large numbers),另一个重要的随机法则就是中心极限定理(central limit theorem)。

在统计里做预测和估计,本质上是在做以偏概全的事。虽偏却能概全,这是统计学家的本领。

(3)要有相信概率的思维

数学家拉普拉斯(Pierre-Simon Laplace)曾说过“大部分生活中最重要的疑问, 都只是概率的问题”。在随机世界里, 概率一词大家琅琅上口, 但真正理解概率含义的人却不多。

概率的意义究竟是什么呢?在诸如投掷骰子, 或抽签时, 我们通常以“相同的可能性”来解释概率。即骰子的6个面, 每个面出现机率皆认为是6分之1。该解释在日常生活中还是比较适用的。当没有其他信息时,常假设每一可能的结果发生之机率都一样。

第二种方式,是以相对频率来解释概率。例如,如果一位职业篮球选手,过去的投篮命中率是0.527,表示该选手在接下来投篮的时候,命中率大抵就是0.527。这种常见的对概率的解释也算比较客观的。其背后之理论基础就是大数法则。针对的现象, 则是可以重复观测的。

最后一种方式是主观概率。例如,世界杯足球赛巴西队最后夺冠的概率,追上某一女孩的概率等等就是主观概率,这些事件无法重复观测,是一次性的。

上述三种对概率的解释有时会交错使用,或彼此相验证。

还有小概率事件。原先你以为不可能的事情,只要观测次数够多, 就一定会发生。有人称此为law of truly large numbers。当小机率遇上大样本,其发生就不会太令人惊讶了。在随机的世界里,要相信概率,而不是要挑战概率。

(4)要有合理估计的思维

从前有一个卖油条的小孩,他一向把卖得的钱都放在盛油条的篮子里。某日由于尿急,于是把篮子放在一块大石头上,然后去厕所了。过一会儿回来,晴天霹雳,篮子里的钱全都不见了。他哭着跑去告诉县官。县官听了后, 叫人把石头抬来审问。虽一再恫吓, 石头一句话也不说。县官气了,叫人拿棍子来打石头。只是即使打到棍子断了,石头仍不说话。一旁看热闹的人都笑了起来。县官更生气,罚围观者每人拿两个铜钱,扔进一个盛满水的盆子里。突然,县官指着一个人说“偷钱的人就是你。”那人大呼冤枉,众人也不解。县官解释说:“那小孩是卖油条的,他的钱上都沾着油。别人的钱扔进水里都没有油浮上来,只有这个人扔钱进水后,有油浮上来, 可见钱是这人偷的。”那人俯首认罪,众人皆心服。

这种县官判案式的智慧,与教室玻璃破了,老师先从平常最调皮的学生问起的原理类似:当从几个可能性里做挑选时,优先挑最可能的情况。会不会出现错误?当然也是会的。凭口袋里的钱有油,就认定他偷了卖油条小孩的钱?如果有人收到卖油条者找的钱,不也就沾着油吗?

但是,这种人们在做选择时常采用的方法却又是有效的。从统计思维的角度看,就是著名的最大概似法(method of maximum likelihood),该方法就是依据发生概率最大者来确定估计值的。这个方法有很多好的性质,而且常常能得到不错的估计量。

美国NBA 职业篮球赛,各球队互有胜负,很难说那一球队才是最强。在常规比赛里,每支球队要赛82场,各区胜率最高的8队可打季后赛。所谓胜率,就是赢的场次除以比赛场次。为了维持比赛之可看性,NBA有一套选秀机制,使各队实力不会很悬殊。有时全季排名第一者,胜率还不到6成。以一个球季多场比赛后的胜率,决定谁是今年较强者,得以参加季后赛,是职业球赛经常采的作法。再例如,估计某项手术的成功概率,估计生三胞胎的的概率等,也是常采用这种以相对频率来估计的想法。

随着统计学的发展,种估计方法百各家争鸣。这些有道理的估计方法,往往有各自的优点,并且适用于某些场合,不会有哪种方法永远是最佳的。例如,有时我们觉得给个范围能更清楚的描述,这就是著名的置信区间(Confidence interval)估计方法。

(5)要有疑罪从无的假设检验思维

人们常求公平或公正。以简单的两人分蛋糕为例,,若双方皆不愿拿得比较小,那有什么好方法来分?你切我选应该是一个令两人都不觉得吃亏的办法。最好是连由谁切,都以抽签的方式。以免选方感觉他所得大于一半,而切方感觉他所得只有一半。

而疑罪从无推定原则便类似你切我选,属于能令检察官与被告,皆感到较公正的一种判决法。

1933年,波兰人Neyman及英国人Pearson给出著名的Neyman-Pearson引理,奠定了统计学里的无罪推定原则,这就是假设检验(Hypothesis testing)。

英文中的假设hypothesis,是由古希腊文hypotithenai 演变而来, 科学上的假说(或称假设学说)也是这个字。在数学里, 我们常在证明一命题是真或伪。但在随机世界中,很多现象都只能视为假设,就看更愿意接受哪一个。接受不表示就完全相信该假设为真,拒绝也不表该假设为伪。统计里的假设,经检定后,不论接受那一个假设,都无法让该假设成为定律,假设永远是假设。

3、结束语

陈希孺先生在其《数理统计学简史》的序中说道:“统计学不止是一种方法或技术,还含有世界观的成分——它是看待世界上万事万物的一种方法。我们常讲某事从统计观点看如何如何,指的就是这个意思。但统计思想也有一个发展过程。因此统计思想(或观点)的养成,不单需要学习一些具体的知识,还有能够从发展的眼光,把这些知识连缀成一个有机的、清晰的途径,获得一种历史的厚重感。”

建立起统计思维不是一朝一夕之功,要说有什么诀窍,那就是学习、实践,再学习、再实践,持续学习、持续实践。

参考文献:

  • 陈希孺, 数理统计学简史, 湖南教育出版社, 2002.

  • Allen B. Downey, 统计思维:程序员数学之概率统计, 人民邮电出版社, 2013.

  • 黄文璋, 统计思惟, 数学传播, 2009,33(4): 30-46.

  • 程开明, 科学事实与统计思维, 中国统计, 2015年第12期, 24-26.




http://blog.sciencenet.cn/blog-242272-1047853.html

上一篇:他山之石,可以攻玉:计算思维如何支撑数据科学的思维模式?
下一篇:放羊的孩子、学生、买房者、家长和大数据学员

10 陆绮 王林平 袁贤讯 秦承志 sqcrft tongjizw weka haipengzhangdr xiyouxiyou changtg

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...

Archiver|科学网 ( 京ICP备14006957 )

GMT+8, 2017-6-24 20:20

Powered by ScienceNet.cn

Copyright © 2007-2017 中国科学报社