普赖斯奖得主Lutz Bornmann 为解决滥用量化评价指标问题支招

武夷山

Scientometrics（科学计量学）杂志2024年第129卷（9月9日网上发表）登载了2019年普赖斯奖得主、德国慕尼黑大学社会学研究所Lutz Bornmann教授和瑞士洛桑大学经管学院Julian N. Marewski教授合著的文章，Opium in science and society: numbers and other quantifications（科学与社会中的鸦片：数字及其他量化物）。

马克思曾说，“宗教是人民的精神鸦片”。借用这个譬喻，Bornmann认为，当面对不确定事物进行判断时，数字已经被转化为人民的新的精神鸦片。尽管他将量化指标滥用看成像鸦片一样恐怖的东西，但他并没有简单化地提倡“禁烟”——拒斥一切量化评价，而是有理有利有节地为解决这个问题支招。本文“结论”前的最后一节是A toolbox for handling uncertainty may aid good judgment（处理不确定性的工具箱也许有助于良好判断）。下面介绍这一节的部分内容。

Heuristics（启发法）也许是打开科学评价中的良好判断之门的钥匙。（博主：我在2018年有一篇博文介绍了他的这一想法——“强烈推荐一篇最新文章：借用启发法来认识文献计量学”，https://blog.sciencenet.cn/blog-1557-1125090.html）为此，我们可以把这类评价看成结构良好的问题。我们已经指出，随着本益结构的每一变化，分类器的性能也随之改变。结果，对于此类问题，就不存在什么普适的自动分类器。在这一方面，科学评价绝无特殊之处。……

快速俭省启发法框架认为，在不确定性情况下，人们还是可以做出精准的分类器和其他判断的，因为他们可以从启发法工具箱（作为人的目标和语境的函数）中自适应地抽取出一些东西。也就是说，与自动化和普遍主义的理想相悖，在不确定性情况下，一件工具的性能是不能独立于（使用工具的）个人的，也没有任何工具是普遍适用的。再者，令自我吹嘘的优化法吃惊的是，启发法计算机仿真工作业已表明，启发法计算机模型能够比得上甚至超过统计工具的表现，即便对于结构良好的问题也是如此。……此类工作给出的关键启示是，知道在什么时候去使用哪种工具，是良好决策的核心。

我们认为，这一简单的启示可能是改善科学评价的关键。如果把科学评价看成不确定下的判断，如果进一步认为，科学评价方面的许多问题更可能属于结构不良的问题而非结构良好的问题，那么结果可能就是，人们需要准备着从工具总库中挑选合适的工具。这个工具箱也许包括不同的指标和非指标型的工具。……在其他场合，我们曾把这些工具称为“基于文献计量学的启发法”，并建议要有相应的研究计划。但我们坚信，那些工具并非唯一的工具。其它工具可能是定性的、基于常识的经验规则。

   为说明这一点，让我们想象有一堆灰不拉几的骷髅，暗黑的空洞眼眶瞪着你，黑色的空空的嘴框暴露出里面的烂牙，所有骷髅都静默着。这些骷髅旁有一个牌子，上面只有两句话：“我们曾有过你们现在的样子，你们有朝一日也会变成我们现在的样子。”寿命期望和死亡率可以量化，可是数字无法捕捉当你的（内在）凝视在牌子上的话和骷髅之间不断转换时你的情绪和认识。我们也不清楚，计算机是否有朝一日能捕捉你的情绪和认识。不过，对于作为人的你来说，那些骷髅和那两句话还是意味深长的。

相关阅读

删繁就简的决策策略，https://blog.sciencenet.cn/blog-1557-3104.html