|
倪珏/ 南京大学
注:图片来源于百度
以往对于科研项目的分配都是采用同行评议的方法,通过同行评议决定哪些想法值得资助。但有研究发现,在资助的项目中,同行评议得分对研究成果数量的预测能力较差。此外,也有研究发现,不同评审者对同样一份申请的评分一致性很低。有人认为标准同行评议的模型永远不会准确地预测研究是否成功,因为它本身是不可预测的。于是,有人提出代替同行评议的方案,也就是摇号[1]。
最近,Liu 等人调查了用摇号来代替同行评议决定科研项目分配的方案的反馈[2]。从2013年起,新西兰卫生研究委员会的探险者拨款计划采用摇号的方案,该方案可以减轻同行评议人员和管理人员的负担,同时将性别歧视、种族歧视和年龄歧视的问题降到最低。对,摇号的方案一举多得!探险者拨款金固定为15万新西兰元(约10万美元),为期2年。个人或团体可以申请,但申请人的住所和工作地点必须在新西兰。
获得探险者拨款项目资助要经过评估。评估要经过两步:
(1)要得到探险者拨款评估委员会小组的认可。探险者拨款评估委员会小组有3名成员,会根据是否具有潜在的变革性以及可行性这两个标准进行评估,专家组的每个成员都会给出“是”或“否”的结果,只有获得两票及两票以上的“是”才可进入下一轮申请。
(2)使用Rand()函数产生随机数,然后按最小到最大随机数的顺序,选择可用预算范围内的申请。
Liu 等人使用的方法是问卷调查法。调查的对象是2013-2019年新西兰卫生研究委员会的申请者。问卷中有一个开放式问题和七个封闭式问题,都是有关资金分配的随机过程和申请者的匿名问题。在八个问题之后,申请者还可以写下评论(可选)。申请者在提交调查之前必须完成所有八个问题。所有回复都是匿名收集的。最后收集到的数据由频率表和条形图所呈现。
在325份调查邀请中,收到的回复为126份(回复率为39%)。其中,2013-2018年的回复率为30%(251份邀请中有76份),2019年回复率为68%(74份邀请中有50份)。结论要点如下:
(1)有63%的人认为随机分配是一种可接受的方法用来分配科研经费(探险者项目)。
(2)对其他经费用于随机分配的支持较少,只有40%(n=50)是赞成的,而且37%(n=46)反对。同意与不同意的人差不多。这一差异可能与探险者项目的性质有关,它的资助金额比其他项目要小,主要是针对风险更大的创新项目。
(3)大多数申请者表示,即使知道项目的分配方案是随机分配,对他们申请的方法或准备申请的时间也没有影响。对此的解释是申请必须通过初步的同行评审阶段才能进入摇号阶段,因此,申请者仍然需要让同行相信该项目的优点。
(4)对同行评审员来说申请者身份匿名受到了强烈的支持(n=112,89%)。大多数的评论都承认这样减少了偏见的可能性。当然,匿名的操作难度非常大。
(5)78%获得探险者资助的被调查者认为随机是可以接受的,而那些申请被专家组拒绝的受访者44%认为随机是可以接受的。
(6)更多获得资助的申请者支持扩大摇号的适用范围。
这项研究还有一些局限性。首先是样本的代表性。获得资助的人回复率更高,因此样本过度代表那些对系统更满意的人。其次,可供资助的组中的人数相对较少,对最终的结果产生很大的不确定。第三,无法追踪人们的认知可能随着时间的推移而发生的变化。第四,没有对同行评议员进行询问。第五,没有对申请者的评论进行正式的定性分析。第六,这项调查是由新西兰健康研究委员会发给申请人的,尽管调查被明确标记为匿名,但这可能会影响申请人的回答。
健康研究委员会通过探险者项目的经验将进一步改进摇号方案。
[1] Ioannidis, J. P. A. (2011). Fund people not projects. Nature,477(7366), 529-531.
[2] Liu, M., Choy, V., Clarke, P., Barnett, A., Blakely, T., & Pomeroy, L. (2020). The acceptability of using a lottery to allocate research funding: a survey of applicants. Research Integrity and Peer Review, 5(1), 3.
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-19 19:22
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社