林墨分享 http://blog.sciencenet.cn/u/ZJUlijiang 分享以科学家为对象的研究论文

博文

科研项目申请的评审改为摇号?真有国家这么干

已有 3900 次阅读 2020-3-10 08:58 |系统分类:科研笔记

说明:本博客与微信公众号“林墨”同步更新,所有内容均为原创,可授权转载请扫码关注“林墨”公众号。

倪珏/ 南京大学

640.jpg

注:图片来源于百度

以往对于科研项目的分配都是采用同行评议的方法,通过同行评议决定哪些想法值得资助。但有研究发现,在资助的项目中,同行评议得分对研究成果数量的预测能力较差。此外,也有研究发现,不同评审者对同样一份申请的评分一致性很低。有人认为标准同行评议的模型永远不会准确地预测研究是否成功,因为它本身是不可预测的。于是,有人提出代替同行评议的方案,也就是摇号[1]。

最近,Liu 等人调查了用摇号来代替同行评议决定科研项目分配的方案的反馈[2]。从2013年起,新西兰卫生研究委员会的探险者拨款计划采用摇号的方案,该方案可以减轻同行评议人员和管理人员的负担,同时将性别歧视、种族歧视和年龄歧视的问题降到最低。对,摇号的方案一举多得!探险者拨款金固定为15万新西兰元(约10万美元),为期2年。个人或团体可以申请,但申请人的住所和工作地点必须在新西兰。

获得探险者拨款项目资助要经过评估。评估要经过两步:

(1)要得到探险者拨款评估委员会小组的认可。探险者拨款评估委员会小组有3名成员,会根据是否具有潜在的变革性以及可行性这两个标准进行评估,专家组的每个成员都会给出“是”或“否”的结果,只有获得两票及两票以上的“是”才可进入下一轮申请。

(2)使用Rand()函数产生随机数,然后按最小到最大随机数的顺序,选择可用预算范围内的申请。

Liu 等人使用的方法是问卷调查法。调查的对象是2013-2019年新西兰卫生研究委员会的申请者。问卷中有一个开放式问题和七个封闭式问题,都是有关资金分配的随机过程和申请者的匿名问题。在八个问题之后,申请者还可以写下评论(可选)。申请者在提交调查之前必须完成所有八个问题。所有回复都是匿名收集的。最后收集到的数据由频率表和条形图所呈现。

在325份调查邀请中,收到的回复为126份(回复率为39%)。其中,2013-2018年的回复率为30%(251份邀请中有76份),2019年回复率为68%(74份邀请中有50份)。结论要点如下:

(1)有63%的人认为随机分配是一种可接受的方法用来分配科研经费(探险者项目)。

(2)对其他经费用于随机分配的支持较少,只有40%(n=50)是赞成的,而且37%(n=46)反对。同意与不同意的人差不多。这一差异可能与探险者项目的性质有关,它的资助金额比其他项目要小,主要是针对风险更大的创新项目。

(3)大多数申请者表示,即使知道项目的分配方案是随机分配,对他们申请的方法或准备申请的时间也没有影响。对此的解释是申请必须通过初步的同行评审阶段才能进入摇号阶段,因此,申请者仍然需要让同行相信该项目的优点。

(4)对同行评审员来说申请者身份匿名受到了强烈的支持(n=112,89%)。大多数的评论都承认这样减少了偏见的可能性。当然,匿名的操作难度非常大。

(5)78%获得探险者资助的被调查者认为随机是可以接受的,而那些申请被专家组拒绝的受访者44%认为随机是可以接受的。

(6)更多获得资助的申请者支持扩大摇号的适用范围。

这项研究还有一些局限性。首先是样本的代表性。获得资助的人回复率更高,因此样本过度代表那些对系统更满意的人。其次,可供资助的组中的人数相对较少,对最终的结果产生很大的不确定。第三,无法追踪人们的认知可能随着时间的推移而发生的变化。第四,没有对同行评议员进行询问。第五,没有对申请者的评论进行正式的定性分析。第六,这项调查是由新西兰健康研究委员会发给申请人的,尽管调查被明确标记为匿名,但这可能会影响申请人的回答。

健康研究委员会通过探险者项目的经验将进一步改进摇号方案。








 

[1]  Ioannidis, J. P. A. (2011). Fund people not projects. Nature,477(7366), 529-531.

[2] Liu, M., Choy, V., Clarke, P., Barnett, A., Blakely, T., & Pomeroy, L. (2020). The acceptability of using a lottery to allocate research funding: a survey of applicants. Research Integrity and Peer Review, 5(1), 3.









































https://blog.sciencenet.cn/blog-1792012-1222699.html

上一篇:“破四唯”为什么第一个点名SCI?
下一篇:[转载]一文读懂倾向值匹配(PSM)
收藏 IP: 211.162.81.*| 热度|

3 武夷山 杨正瓴 王庆浩

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-19 19:22

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部