林墨分享 http://blog.sciencenet.cn/u/ZJUlijiang 分享以科学家为对象的研究论文

博文

在科技评价中,如何正确地拍脑瓜? 精选

已有 9774 次阅读 2019-12-6 13:27 |系统分类:科研笔记

说明:本博客与微信公众号“林墨”同步更新,所有内容均为原创,可授权转载请扫码关注“林墨”公众号。

fullsizeoutput_1.jpeg

在科技评价的世界里,同行评议和文献计量学是两种最为主流的方法。其实在这两种方法之外,还有一种更常用的方法,叫做拍脑瓜法,只是我们羞于承认罢了。将文献计量学与拍脑瓜法结合起来,是对文献计量学指标的一次纠偏,也是在科技评价上的一次新尝试

胡志刚 / 大连理工大学 




640.jpeg

注:图片来源于百度

周末看综艺,最好看的是打分环节。上周的《奇葩说》上,新一季的黑马队长,哈佛才女许吉如,出师未捷身先死,下场第一轮淘汰赛,就直接被当场观众票投出局,一点没给节目组面子。腾讯自制的《演员请就位》更夸张,评委的戏码比演员还足,演员还没开始比,评委之间先掐起来了,有时候你都不知道这个节目比的是场上的选手,还是场下的评委。央视时隔八年再次开张的《挑战主持人》,看起来就要靠谱的多,不仅用打分取代了投票,而且分了专家评审和大众评审,多了些公平公正和心悦诚服,不过也少了些出乎意料和惊险刺激。

演艺圈确实不好混,上台三分钟,一局定胜负,赢了留,输了走,评价标准不仅残酷,而且冷酷。台上不仅要有真本事,还要有观众缘,许吉如被淘汰之后,瞳孔太大、表情太凶,都成为罪状。说得太多说你啰嗦,说得太少说你词穷。想想还是科研圈靠谱,虽然颜值高的老师还是可以在课堂上轻松圈粉,但至少还没有科学家因为头皮太秃、眼镜太厚而被淘汰出局。


什么是捷思法(Heuristic)?


像综艺届这种看脸看发挥、速战速决、简捷高效的评审方法,英文里有个专有名词——Heuristic,中文没有太好的翻译,一般直译为启示法,但其实意译为捷思法、断言法、直觉法、经验法或者拍脑袋法,可能更为准确。捷思法的历史由来已久,古希腊自然哲学的先贤们论断“万物源于水”、“万物皆数”的时候,用的就是这种方法。那个时候,哪有什么逻辑推理、实验验证,大多数结论都是大师们拍脑瓜想出来的。在缺少理论、信息和数据支撑的情况下,这几乎是在人类早期的轴心时代,唯一可以依赖和采用的“科学”方法。

640.jpeg

注:图片来源于百度

捷思法用于决策,这些年来在经济学和心理学领域受到了越来越多的关注。2002年的诺贝尔经济学奖得主丹尼尔·卡尼曼(Daniel Kahneman),可谓其中最有影响力的一位。他提出的“有限理性”理论认为,人类的大脑在判断事物时,其实是有点懒惰的,我们其实不那么爱思考,而更愿意遵照经验带给我们的“启发”。他还将捷思法分为三类,算是给“拍脑瓜决策法”找到了心理学上的一个科学外壳和理论归属。

(1)代表性捷思法(Representativeness Heuristic,既人类更喜欢有“代表性”的事物)

(2)可忆起性捷思法(Availability Heuristic,人类更喜欢“易忆起”的事物)

(3)锚定与调整性捷思法(Anchoring & Adjustment,人类更喜欢“可参照”的事物)

德国马普学会的人类发展研究所,也长期致力于对于捷思法的研究。研究所主任格尔德·吉仁泽 (Gerd Gigerenzer)教授关注的是,如何在有限的时间、知识和运算能力的情况下,用我们有限的理性,在我们身处的这个不确定的世界中进行决断。他所撰写的《简捷启示法:有限理性让我们更聪明》是该领域的经典著作,书中的理论阐释和案例分享非常深刻,给我们展现了简捷启示法的独特魅力。目前这本书已经被译成中文,值得一读。


捷思法(Heuristic)应用于科研评价


2018年,吉仁泽的学生Julian N. Marewski,与马普学会科学与创新研究处的科学计量学家鲁兹·伯曼(Lutz Bornmann)一起,创造性地将捷思法应用到了科技评价领域,提出了基于文献计量学的捷思法(bibliometrics-based heuristics,BBHs),为我们提供了科技评价改革的一个新思路。2019年9月,在罗马召开的ISSI大会上,鲁兹·伯曼因其在科技评价领域的卓越贡献而获颁新一届普赖斯奖,在获奖感言之后,他分享了他和Julian N. Marewski共同提出的“文献计量学+捷思法”这一全新的评价理念。

文献计量学我们都不陌生。在科技评价中,近年来最常用的方法是文献计量学方法,最被诟病的方法也是文献计量学方法。相对于同行评议,以SCI论文量、被引数、影响因子等为基础的文献计量学指标,似乎更准确,更客观,也更省事。但是,过于倚重这些量化评价指标,不仅助长了科学界中的投机取巧,虚夸浮躁,甚至导致了严重的学术不端和科研造假。文献计量学界的专家学者,也因此背负了其本不该承受的压力、责难和非议。

640.jpeg

注:图片来源于谷歌

在科技评价中,将文献计量学与捷思法关联起来,是对于文献计量学的“解构”和“祛魅”。文献计量学指标本就是在有限信息情况下做出的权宜选择。将文献计量学不看作是科技评价方法的唯一或全部,而仅仅看作是捷思法的基础,既是正视文献计量学指标本身的缺陷和不完美,也是承认科技评价中固有的复杂和不确定。一方面给予了捷思法以更为准确客观的逻辑起点,一方面也卸下了文献计量学那种重任在肩、大权独揽的心理包袱。这种对于文献计量学方法的“解放”,不正是当前破“四唯”运动的应有之义吗?


怎么将文献计量学用于捷思法呢?


Bornmann和Marewski举了一个“单一理由决策法”(one-reason decision making)的例子。单一理由决策法是指,我们在做决策时,有时候要学会忽略其他因素,只仰赖一个最重要的理由就够了。就比如在择偶的时候,高知群体往往思前顾后,试图把所有的因素都斟酌比较一遍,最终生生把自己耽误成了剩男剩女。其实,如果找到一个好理由就立即做决策,可能比周祥的考察后再做选择,获得的结果和结局还要更好。作为捷思法的一种,单一理由决策法当然也可以用在科技评价当中。比如在人才评定的时候,科研管理部门要是有勇气跳出人为划定的条条框框,敢于仅凭单一理由选人用人,才不会筛选出一群看似完美但难堪大用的中庸之才,而错过那些不尽完美但独一无二的偏才天才。

640.jpeg

注:图片来源于百度

捷思法用于科技评价的例子还有很多。在很多时候,科学家们自身甚至可能比科技管理者更懂捷思法。在评职演讲的时候,有的科学家们已经能够无师自通地,巧借捷思法中的理论和方法,赢得更多评审专家的选票。很多科学家意识到,在短短几分钟的评职演讲中,面面俱到有时候并不是最优选择,必须得给出一个容易被记住的点,才能让评审专家们不至于各家金光闪闪的履历中迷失,记住独属于你的优秀特质和出众魅力。而这一方法,正是三大捷思法之一的可忆起性捷思法,在科技评价中的一种体现。

今天,当我们还在执迷于对于文献计量学指标的修修补补,将本已复杂的指标变得更加复杂的时候,或许应该承认:科技评价工作,其实和电视上的那些综艺节目一样,不过是在有限信息下所做出的不完美选择,孰升孰降,孰去孰留,包括文献计量学在内的任何方法可能都难以给出一个准确无暇的决策。在直觉和经验的决策基础上,加一点客观和定量的有用信息,这种基于文献计量学的捷思法,可能是在这个充满不确定性的复杂世界里,在我们人类的有限理性窠臼下,所能采用和达到的最优方法。







fullsizeoutput_3.jpeg


 

[1]Bornmann, L., & Marewski, J. N. (2019). Heuristics as conceptual lens for understanding and studying the usage of bibliometrics in research evaluation. Scientometrics, 120(2), 419-459.

[2]武夷山,强烈推荐一篇最新文章:借用启发法来认识文献计量学(2018)。检索于科学网博客:http://www.sciencenet.cn/blog-1557-1125090.html

[3]武夷山,删繁就简的决策策略(2007)。检索于科学网博客:http://blog.sciencenet.cn/blog-1557-3104.html.














fullsizeoutput_2.jpeg












https://blog.sciencenet.cn/blog-1792012-1209016.html

上一篇:中国培养科研诚信的五大策略
下一篇:来,来,来,把论文的数据也发表了吧!
收藏 IP: 211.162.81.*| 热度|

9 王从彦 武夷山 刘立 郑永军 许培扬 彭真明 曾杰 周春雷 任胜利

该博文允许注册用户评论 请点击登录 评论 (4 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-19 17:59

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部