对建模过程开展敏感性审计

武夷山

Futures（未来学）杂志2022年12月号发表了英国里丁大学建筑环境学院的博士后研究人员Samuele Lo Piano和另外三位学者合写的文章，Unpacking the modelling process via sensitivity auditing（通过敏感性审计来剖析建模过程）。此文可免费下载。

文章“摘要”的大意如下：

基于模型的证据是有条件限制的，承认这一点，有助于模型开发者和使用者之间的对话，尤其是在模型被用于指导科学-政策界面之决策的场合。一般说，模型利用者没有多少手段来验证模型的真实性，只能被动认可模型的合理性和可信任性；相形之下，建模者拥有各种验证和证实手段。归根结底，模型可信度是开发者和使用者都追求的，也是有利于避开过度阐释模型结果之陷阱的。为此，本文讨论了敏感性审计，它是敏感性分析的延伸，该方法有助于模型开发者和使用者克服沟通障碍，推动围绕建模活动的对话。敏感性审计的用途不限于狭义的模型，可应用于任何政策相关的量化情景，包括测度、排序与指标。我们呈现了敏感性审计在现实世界应用的6个例子，都涉及社会-环境系统（包括公共卫生、教育、水-粮关联系统等）中的量化问题。这些例子揭示了敏感性审计的有用性：推动数量指标和模型在科学-政策-社会界面上的合适应用，防止uncertainty laundering（博主：这是根据“洗钱”的搭配结构创造出的新词组——“洗不确定性”，指利用统计数字制造出有序或确定性的假象）。

文章介绍，敏感性审计有以下7个核查点。

•修辞用途

    看看有没有将数学付之修辞用途的情况。是否在简单模型就足矣的情况下采用了大型模型？模型结果和范围是否被外推到预期的适用范围之外了？

•假定追溯

    做出了什么样的前提假定？这些假定是明言的还是隐含的？

•检测GIGO（垃圾进，垃圾出）的情形

    是否有为了提升模型的确定性而人为压抑输入中的不确定性的情况？或者相反，有意识地将不确定性给夸大，为的是躲避规制，比如在制造了有伤害性的产品的情况下？

•预见被批评的前景

    尽早发现敏感的假定，省得别人找到毛病。最好在发布成果前进行稳健的不确定性和敏感性分析，以免日后遭到批评。

•追求透明性

    在公共辩论中，黑箱模型的表现是好不了的。

•做合适的题目，而不仅仅是把题目做对了。

相关议题识别出来了吗？或者说，模型处理的其实是“错误的”问题，而没有纳入多重视角？

•开展不确定性和敏感性分析

    开展最先进水平的不确定性和敏感性分析。

作者举了很多例子来说明敏感性审计的用途。其中一个例子是，对PISA（学生能力国际评估项目）测试结果的很多解释都假定一国学生的测试成绩和该国经济增长间存在着因果关系。欧盟发布的一个文件说，如果欧盟国家能显著提升其PISA成绩，就能直接导致GDP的增长。这个假定显然是过于简单了。