博雅达观分享 http://blog.sciencenet.cn/u/hillside 思接地质年代,眼扫地球内外 …… 跋涉于水文水资源、地理科学、土地利用与规划、科学思辨、中外哲学

博文

运用之妙,存乎一心的贝叶斯定理——兼谈“统计时代正在来临?“

已有 6120 次阅读 2014-1-2 11:25 |个人分类:数学与统计园地|系统分类:科研笔记| 统计, 出神入化

    先摘录一个网友所发的消息:“2011年8月的第三周,对于统计专业出身的人(无论你是否要刻意强调自己究竟是偏经济统计还是数理统计),是值得关注的一周。因为在这一周,国内多所早已有了统计学专业或是概率论与数理统计专业学位教育经验的高校,特别是几所大家耳熟能详的院校,其网站都有可能报道该校今年被批复调整的一级学科中,‘统计学’赫赫在目。不明其了的人可能会惊呼:统计学什么时候成了一级学科?”  (“统计时代“真正来临了吗?http://space.cenet.org.cn/user1/704/15285.html)                

    在统计学内部,贝叶斯定理由于主观意识深厚等,曾受到频率统计学派的排斥。

    然而,正是贝叶斯定理的不凡品质,有人将之玩到了出神入化的地步,纳特·西尔弗就是其中的一位奇才。他在《信号与噪声》中提出,在21世纪数据爆炸的时代,统计科学的意义将得到极大彰显,“预测”将会成为一个新的关键词。

   纳特·西尔弗是美国著名的统计学家、作家和《纽约时报》政治性网站538.com的创始人。2008年美国大选期间,不到30岁的他成功预测出49个州的选举结果,2012年大选期间更是成功预测出全部50个州的选举结果,被称作“神奇小子”。2009年,《时代》周刊将他评选为全球100位最具影响力的人物之一。

   中信出版社2013年在国内出版了《信号与噪声》一书的简体中文版,它是一本关于统计学、经济学、气象学、计算机和社会学的书,由纳特·西尔弗撰写,由于英文版横扫各大榜单,据称此前国内对该书的关注已经不断升温。
   据中信出版社编辑朱丽君介绍,《信号与噪声》检视了从飓风到地震、从经济到股市、从NBA到扑克牌赌博在内的众多领域的成功和失败的预测案例,旨在回答一个问题:如何才能从繁杂的海量数据中筛选出真正的信号,从而作出接近真相的预测。不过,《信号与噪声》并不是一本“教你如何预测未来”的励志图书,相反,作者对于“预测”的态度非常谦卑。

    纳特·西尔弗认为,这些成功,很大程度上来自他基于贝叶斯定理的预测,他的思考汇集于《信号与噪音》一书。有网友归纳为:“世界是客观的还是不那么客观,贝叶斯定理不管这,它管人们对这个世界的各种主观先入之见,在新的经验/观察/数据面前,如何调整。”

    作为水文、气候研究者,我认为,“统计”有望步“气候”之尘,在未来的日子里发扬光大、步入辉煌,由“气候时代”叠加“统计时代”。

信号与噪声:大数据时代预测的科学与艺术

来源:首都图书馆   日期:2013-09-30

书名:信号与噪声:大数据时代预测的科学与艺术
作者:(美)西尔弗著;张新,朱辰辰译
出版社:中信出版社
出版时间:2013年

【内容简介】
  作者最为美国最具影响力的预测专家之一,检视了从飓风到地震、从经济到股市、从NBA到政治选举在内的众多领域的预测事例,旨在回答一个问题:如何才能从繁杂的海量数据中筛选出真正的信号,摒弃噪声的干扰,从而做出接近真相的预测。

【目录】
引 言 XIII
第一章 预测失败的灾难性后果
 一场错误预测引发的悲剧
 他们只是不想让“音乐”停下来罢了
 评级机构为什么会犯下致命的错误?
第一幕:房地产泡沫
第二幕:负债经营
 幕间休息:从贪婪到恐惧
第三幕:这次还是犯了同样的错误
 失败的预测都是非样本预测
 失败预测的公式——非样本,无思考
 前事不忘,后事之师
第二章 政治选举预测:狐狸和刺猬,谁更聪明?
 政治学家是名副其实还是徒有虚名?
 狐狸型专家:善于变通,更善于做出准确的预测
 刺猬型专家更适合做电视节目嘉宾
 政治预测为什么常常失败?
 狐狸型预测方法
 原则一:用概率的方法思考问题
 原则二:今天的预测是你以后人生的第一个预测
 原则三:寻求共识
 定性信息与定量信息同等重要
 做出客观的预测并非易事
第三章 棒球比赛预测:球探和数据怪才,谁更胜一筹?
 构建棒球比赛的预测系统
 全世界最丰富的统计数据库
 老化曲线与相似分数
 球探与数据怪才的矛盾冲突
 系统与球探的对决:球探赢了
 球探和数据怪才的偏见
 生理指标与心理指标
 信息是决定预测成败的关键
 并不是信息越多,预测就越成功
 《点球成金》的真正意义
第四章 天气预测:蝴蝶扇动翅膀,有可能引起龙卷风  
 我们真能准确地预测天气吗?
 气象预报简史
 用矩阵来预测天气
 混沌理论与蝴蝶效应
 视觉化预测与抽象化预测
 被雷电击中的概率越来越小了
 什么样的预测才算是好预测?
 商业竞争如何使预测变得更糟糕?
 天气预报说降水概率为%,你出门会带伞吗?
 尽可能地做出准确预测
第五章 地震预测:一个困惑了人类  年的难题
 地震可以预测吗?
 “圣杯”根本就不存在
 我们对于地震的了解
 究竟是信号还是噪声?
 那些以失败收场的地震预测
 过度拟合模型:将噪声误认为信号
 年日本大地震引发的思考
 地震震级的上限是多少?
 被审判的预测科学
第六章 经济预测: 经济学家为什么没有预测到 年经济危机?
 不可忽视预测中的不确定性
 经济学家都是理性的吗?
 相关的两个经济变量未必互为因果
 变化莫测的经济
 经济数据中充满噪声
 经济是一个动态系统,不是一个方程式
 经济预测中不可避免地会存在偏见
 克服预测偏见的两种选择
第七章 传染性疾病预测:禽流感为何会突然爆发,又突然消失?
 人们又一次高估了HN 的致命率
 外推法的危害——艾滋病感染人数被低估了一半
 为什么 年的流感预测会失败?
 自我实现预测与自我否定预测
 预测模型越简单越好,还是越复杂越好?
 所有的预测都失败了
 预测是为了让损失最小化
 
第八章 贝叶斯定理:只有正确的预测才能让我们更接近真相
 成功的赌客是如何思考问题的?
 贝叶斯留下的宝贵遗产
 概率、预测与科学进步
 简单的运算推导出重大的预测
 为什么大数据时代的预测更容易失败?
 当统计数据偏离了贝叶斯定理
 成功践行贝叶斯定理的体育赌客
 通往真理的贝叶斯之路
第九章 国际象棋大战:计算机与人类的智能博弈
 国际象棋的人机大战
 国际象棋比赛预测和启发法
 开局阶段:独立思考能力更重要
 中局阶段:宽度与深度的两难选择
 残局阶段:计算机能力方面的较量
 计算机战胜了人类
 国际象棋大师为何败给了“深蓝”计算机?
 计算机擅长做什么?
 用试错法提高计算机的预测能力
 克服人类的技术盲点
第十章 扑克牌游戏:如何从  种组合中猜出对手的底牌?
 是心理游戏,也是数学游戏
 出色的扑克牌玩家如何读出对手的牌?
 是弃牌还是跟注,如何选择?
 虚张声势,让对手猜不出你的底牌
 学习曲线与二八原则亦适用于预测领域
 扑克牌经济的繁荣
 扑克牌经济泡沫的破灭
 既靠运气也拼技能
 我们对于扑克牌游戏的妄想
 以过程而不是结果为导向
第十一章 股票市场:非理性交易者的存在让价格泡沫不可避免
 贝叶斯定理世界中的价码牌
 预测市场中的“无形的手”
 群体预测往往优于个体预测
 有效市场假说理论的缘起
 过去的表现不代表未来的结果
 技术分析法并不能预测股市
 有效市场假说的 种形式
 追涨杀跌的股市投资策略真能获利吗?
 当有效市场假说遇到非理性繁荣
 羊群效应催生股市泡沫
 过度自信的投资者逃不开“赢家的诅咒”
 股市泡沫需要很长时间才能被挤出
 有时,价格的确是错误的!
 金融市场中的噪声
 直觉判断让投资者深陷“高买低卖”的误区
 有没有可能预测到市场泡沫的出现?
第十二章 温室效应:未来 年,全球气温会上升还是下降?
 温室效应真会导致全球气温变暖吗?
 温室效应假说的 种怀疑论
 对“全球气温会持续升高”预测的批判
 达成共识的预测结果
 不能把所有鸡蛋都放在一个篮子里
 气候科学不是“火箭科学”
 模型越复杂,预测越糟糕
 气候预测中的 类不确定性
 评判气候预测准确性的时刻到了
 “全球变冷”事件的教训
 正确的预测绝对离不开科学的方法
 气温变化趋势的真相
 政治与科学的针锋相对
第十三章 恐怖主义: 比“?”更严重的恐怖袭击事件会发生吗?
 信号无处不在
 你不知道的不代表不会发生
 “?”恐怖袭击事件是“已知的未知”?
 用数学的方法研究恐怖主义
 用统计学的方法测量恐怖主义
 级恐怖袭击很可能会发生
 为什么恐怖分子不去炸购物中心?
 如何辨识恐怖袭击的信号?
结束语
致 谢

附:“统计时代”相关网站

“统计时代“真正来临了吗?http://space.cenet.org.cn/user1/704/15285.html




https://blog.sciencenet.cn/blog-350729-755123.html

上一篇:关于水文模型优化算法的一个你来我往、再来再往的学术交锋欣赏
下一篇:漫谈“气候时代”——兼聊“生造科学词组”与“搜索引擎查新”
收藏 IP: 58.240.142.*| 热度|

3 张学文 黄智生 黄河宁

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-24 20:46

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部