科研资助新方式的实验进路

武夷山

前不久，美国国家科学院出版社出版了一个研讨会的会议录。会议录的标题是 Experimental Approaches to Improving Research Funding Programs: Proceedings of a Workshop（改善科研资助计划的实验进路：研讨会会议录）。该出版社的书都可免费下载。  

2023年3月 14–15日, 美国国家科学院、工程院和医学院下面的科学、技术、工程与医学委员会在首都华盛顿组织了一个研讨会，“Experimentation in Federal Funding”（联邦科研资助方面的实验）。

研讨会的目的，是探索如何利用数据、研究和实验来改善联邦政府科研资助过程和结果。确定资助决策的现有制度存在一些问题：地位稳固的科研人员更易获得资助；风险较小的项目建议书更易批准；对申请者资格的要求偏严，等等。采用实验方法也许有利于指导资助制度的改革。由于这方面的实验（尤其是在政府部门）较少，有必要召集不同背景、不同经历的学者来参与讨论。  

发言者包括：新兴的科研资助学（science of science funding）领域的领先学者；政府和私营部门具有支持和开展相关实验和评审方面经验的实践者。他们讨论了利用实验设计来检验新的联邦资助政策的潜力和机会，介绍了美国和国外的相关案例，考察了项目建议书评审方法，为未来的相关实验加强了相互联系。

在国际经验方面，被邀请的SNSF（瑞士国家科学基金会，他们在2022年资助了约2700个项目）的Matthias Egger 发言说，近年来，为了实现本基金会支持卓越科研和有潜力的年轻科研人员的使命，他们在评审程序上做了一些改革。例如，他们推出了新的个人简历模板，其中要求申请者就自己对科学的贡献做出陈述，而不是只依赖申请者所发表论文的期刊的影响因子之类的计量指标；他们采用了统一的评审程序；对项目申请书评审委员会主席和成员开展了培训，培训的重点主题是同行评议、掠夺性出版、开放科学和职业发展轨道。

举个改革的小例子。基金会发现，当两名评审者评审同一份申请书时，意见一致率大约是70%，这就说明评审结果有明显的偶然性因素。面对这样的偶然性，SNSF的新做法是：评审委员会成员对申请书按1-9分的尺度打分，然后采用统计学方法给申请书排序，并虑及排序的不确定性。如果多份申请书的排序不确定性相同，又不可能对它们都资助，就抽签决定资助哪一份或哪几份申请书，这样评审会就不用开得过长，评审结果也较为公平。

又如，SNSF过去为了保证做到评审者属于申请者的“小同行”，允许申请者建议几个评审者名单供SNSF参考。SNSF开发了一个自然语言处理软件来考察申请书评审者的评审意见之情感倾向，看看是不是申请者推荐的评审者写出的意见会比其他评审者更客气，更有偏向性。结果，申请者推荐的评审者的意见明显比其他评审者的“美言度”要高。于是，SNSF果断取消了让申请人推荐评审者的做法。

该软件也试图考察评审者性别对评审意见的影响，有两个发现：总的说来，女性评审者的评审意见比男性评审者的评审意见更狠，更不留情面；男性评审者给男性申请者的评语比给女性申请者的评语要更客气，更正面。于是，SNSF打算将自然语言处理软件所发现的评审过程中的性别差异纳入针对评审委员会主席和成员的相关培训。

    博主：这本书的有意思内容很多，但我没空详加介绍，就写这一点点引个路吧，感兴趣者请阅读原文。