《信号与噪声》算不上新书。The Signal and the Noise: Why so Many Predictions Fail-but Some Don’t by Nate Silver初版于2012年，我看的是中信出版社2013年推出的汉译本。该书的副标题或许更为贴切，但汉译本没有译出，多少有些误导，最初购买该书，与开设通识课“混沌与非线性思维”有关。翻阅后意识到该书其实侧重统计推断，而非不可预测性，因此就没有仔细读。最近“大数据”之类大火，通读这本普及性的书。

如前所述，该书的主题是预测。作者并非是学者，而是预测的实践者，创办一家预测网站。因此该书侧重是实践而非理论。在作者看来，“‘预测’是指在不确定的条件下进行计划，这一行为需要谨慎、智慧和勤奋(p. XVII)”。“预测是检验我们的认知是否符合真理的最佳方式，那么我们当中最为客观的人，就是作预测最准确的人。(p. 219)”书中“信号”和“噪声”有特定的含义，“信号是统计或预测问题背后的真相，噪声……指代那些易被误认作信号的随机模型。(p. 363)”“信号是真相，噪声却使我们离真相越来越远。(p. XXVII)”在处理实际问题时，两者可能被混淆。例如，模型和数据比较时，“拟合的说法源自统计模型和过去的观测结果相吻合的程度。当过于粗略地拟合(我们称之为不充分拟合)，这时我们会错过本可以捕捉到的信号。当拟合太过紧密时(我们称之为过度拟合)，这意味着你在对数据中的噪声进行拟合，而不是挖掘数据的深层结构。在实践中，过度拟合的错误更为常见。(p. 134)”特别是，“过于复杂的模型可能会将噪声拟合进来，无法成功地复制内在结构，使预测失效。(p. 185)”“在这个不确定的世界上，我们仍是不完美的生物。即使作了糟糕的预测，我们也永远不会知道这是自己的错误还是预测模型的缺陷，或者只是因为我们不够走运。最接近的近似解，就是达到一种噪声与信号的和谐状态，两者缺一不可，我们要学会欣赏它们。(p. 282)”

该书大致可分四个模块。前三章以未能预测到金融危机说明预测的困难，并讨论了选举结果预测和棒球比赛预测。说明些一般的原则。例如，从事实而非原理出发，用概率思考，兼顾定性和定量信息，适当地利用数据等。随后四章为第二模块，分析各类预测的案例，并讨论成败要点。关于天气预测，简介了混沌理论并强调预测者的诚实。关于地震预测其实是不可预测，说明区分信号和噪声的困难。关于经济预测，困难在于数据不能说明因果性，经济不断变化很难外推，数据本身也未必可靠。关于传染病预测，模型的简单和复杂各有利弊，预测是为减少损失，是否正确不是最重要。第三模块侧重方法论，基于Bayes 定理，不断与数据比较(试错法)改进预测，并用机器象棋和扑克牌游戏加以说明。最后一个模块的三章分别是具有挑战性的预测难题，金融市场泡沫、气候变化趋势和恐怖主义袭击。

该书的理论基础是条件概率推理的Bayes 定理。该定理要求“我们必须从不同角度去思考我们的想法，以不同的方式检验我们的想法。我们要坦然面对各种可能性和不确定性，更加周祥第考虑我们对一个问题的假设和看法。(p. XXVI)” “贝叶斯定理明确地承认了固有的观念会影响对新证据的理解，还生动地描述了人们对于世界的变化做出的反应，这是贝叶斯定理的一大优点。(p. 218)” 毕竟偏见无处不在。“任何的人为判断都有可能掺杂个人偏见。(p. 67)”“如果你说一点儿偏见都没有，反而暗示了你有很多偏见。(p. 394)”“我们的信念使得我们永远做不到完全客观、合理或是准确。(p. 219)”“所有的人都有各自的信仰和偏见，这种信仰和偏见是由个人的阅历、价值观、知识涵养、政治立场或专业背景等因素凝聚而成。(p. 218)”“我们主观的、有选择的看待信息，但对信息的曲解却关注不够。(p. XXVII)”

除了概率推理的分析方法外，预测者谦恭的态度也很重要。“本书的核心前提就是，若想做出更准确的预测，就必须承认我们的判断是不可靠的。(p. 286)” “认识到了人类在预测世界进程时所作判断的局限性。认识到这些局限性，才能做出更准确的预测。(p. 50)”“成功的‘赌客’以及任何领域中成功的预测者，从来不会以稳赚不赔的心态、无懈可击的理论和及其准确的尺度去看待未来，这些都是失败者的幻想，是过度自信的弊病。(p. 200)” 遗憾的是，过度自信似乎是人的天性，或者说是人类在长期进化中形成的“快思维”。人类的生存依赖于快速的模式识别。“在这样一个快节奏的社会里，各种数字和统计数据泛滥成灾，原本的习惯和倾向反而让我们陷入麻烦：但我们看到一系列随机数字时竟能看出其中根本不存在的模式。(p. 248)”此外，“行为经济学的核心成果就是发现大多数人在预测时都表现的过分自信。(p. 311)”过度自信的典型表现就是低估了不确定性，特别是不可量化的不确定性。过度自信的“那些专家既不擅长诚实地描述预测中的不确定性，对这种做法也不太感兴趣。(p. 151)”“最失败的预测通常有很多共同点，即我们只关注那些符合我们对这个世界的期许的信息，而不在乎其真实性。对于那些最难测定的风险，即使它们严重威胁到我们的幸福生活，我们也会对其视而不见。(p. 2)”有些数据怪才的致命偏见，“若某项因素很难量化，那它就被视为无关紧要。(p. 68)”谦卑的预测者，也是高明的预测者，需要“学会怎样表达预测中的不确定性，并使其量化。随着事实和环境的改变，你的预测也要跟着更新，你要试着发现，从不同视角看世界也会得到智慧。(p. 50)”

该书把气象和气候分别列为两章。“气候是指地球自身的长期均衡状态，而气象描述的则是背离了长期均衡状态的短期表征。(p. 336)”尽管有蝴蝶效应使得长期气象预报不可能，但气象预报仍是预测成功的范例。例如，气象预报比经济预测准确得多。“经济预测者面临着三大基本挑战。第一，单纯依靠经济统计数据，很难判断起因和结果。第二，经济始终都在变化，某一经济周期的经济运行状况无法被用来解释未来经济的发展。第三，经济学家以往的预测如此糟糕，那么他们在预测时所参照的数据也好不到哪里去。(p. 153)”“大多数领域的预测者都有过度自信的倾向，而气象预测者严于律己的精神实在可贵。(p. 336)”“气象预测取得的进步源于该学科的两大特征。第一，因为每天都要进行气象预测，所以气象学家可以获得大量反馈，可以实时检查以校对他们的预测。(p. 336)” “第二，对天气系统的物理现象(这些物理现象受相对简单的、容易观测的规律支配)有深刻了解，同样会惠及众多气象学家。(p. 337)”这种机理性认识也是一个例证，说明“我们以为自己需要信息，但其实我们真正需要的是知识。(p. XXVII)”比较而言，气候预测更有争议，例如全球气候是否变暖，众说纷纭。

一般而论，“准确性才是预测者的第一要务；而认为政治、个人荣誉或经济利益高于预测的真实性，其实是预测的原罪。有时这样做的意图是好的，但总会使预测更糟。(p. 113)”但有时候预测的准确性可能要让位更实用的目的。典型的就是传染病例如流感预测。“流感预测的目标从某种程度上来说是为了提高公众对这种疾病的意识，进而改变其行为习惯，因此这种自我破坏的特性也影响了流感预测的准确性。最有效的流感预测很可能就是无法修成正果的预测，因为这样的预测会促使人们做出更有利于健康的选择。(p. 185)”就我自己的职业而言，教师对学生的一般前景或具体努力的预测也是如此。鼓励性的预测有积极的暗示，往往能促进学生的成长或成功，虽然未必准确。否定性的预测倒是更容易准确。这些都意味着，预测有时候只是工具或手段，本身并非目的。

书中一些片言只语也颇有启发性。例如，“完全相信某件事的人和完全不相信某件事的争论不休，根本就是无益之举，许多战争或许就是这样的争论引起的。(p. 218)”又例如，“成功取决于辛勤的汗水、自然禀赋、个人机遇和环境，换句话说，就是噪声和信号的结合。美国人更多时候倾向于强调信号的成分，除非说到自己的弱点，那时我们就会归因于运气不好了。(p. 281)”我个人更清晰于相反的侧重。成功看得淡些，强调运气的成分，多些平常心；失败要分析自己的原因，不要诿过于命运，避免重蹈覆辙。此外，第一次听说古德哈特定律，“政策制定者一旦锁定一个特定变量，这个变量就会逐渐失去其作为经济指标的价值。(p. 156)”这就是禅宗所谓“说似一物即不中。”学术评价、刊物评价等其实都如此。

该书在“结束语”中总结了正确预测的要点，虽然知易行难。其一，以概率的方法思考问题；其二，知道自己的观点源于何处；其三，在不断的试错中进步。此外，要正视不可预测性。“预测之所以难做与其所以重要的原因是一样的：预测是主观事实与客观事实交汇的产物。从噪声中区分信号既需要科学知识，也需要自知之明，比如，平静地承认我们无法预测的事物，勇敢地说出我们能够预测的事物，还有就是明智地区分二者的不同。(p. 395)”

最后说点儿题外的话。该书两次援引Julius Caeser by Shakespeare的Cicero的台词

But men may construe things after their fashion,

Clean from the purpose of the things themselves.

警示人们不要以偏见曲解事实。过去读该剧本时没有注意到这句的重寓意。过去注意到人定胜天的思想，该书所引用的台词，在《重读Julius Caesar》中也摘录，就是Cassius所谓

Men at some time are masters of their fates:

The fault, dear Brutus, is not in our stars,

But in ourselves, that we are underlings.

mastering the fates其实正是预测的最终目的所在。该剧还有类似的说法，在《命运如潮》中另有摘录。

科学与社会

忆来唯把旧书谈：《自私的基因》

忆来唯把旧书谈：《合作的进化》

忆来唯把旧书谈：次贷忽现《黑天鹅》

读《非对称性风险》