试想，你是一名科研工作者，正夜以继日地撰写着一份详尽的科研项目申请书，期间投入了大量的时间和精力反复打磨申请书的每一处文字细节，只为在激烈的竞争中脱颖而出，获得宝贵的科研经费资助。然而，你可曾想过，这份精心准备的资助申请书，真的能在资助评审决定中发挥关键作用吗？来自荷兰阿姆斯特丹大学的Müge Simsek教授及其合作者最近在Scientometrics期刊上发表的一项研究可能会给你一个意想不到的答案，该研究深入探索了评审专家的决策过程，并分析了资助申请书文本对项目评审结果的实际影响效果。

研究问题

资助申请书文本对资助决策重要吗？

理论假设

基于一组资助申请样本，本研究设置两个条件：评审专家可以浏览完整的资助申请书和申请人简历（即能浏览资助申请书的P条件），和只能浏览申请人简历（即不能浏览资助申请书的N条件）。将这些资助申请与常规小组成员审查的同一组资助申请样本进行比较，可以形成两个对比小组：两名评审团专家都可以浏览资助申请书文本的P-P组和只有一名评审团专家可以浏览资助申请书文本的P-N组。研究假设，当两名评审团专家都能浏览资助申请书文本时（P-P组），他们对资助申请的评估结果会比只有一名评审团专家能浏览资助申请书文本时（P-N组）更为一致，因为完整的资助申请书文本提供了额外的信息，有助于评审团专家做出更准确的判断。

实验设计

本研究的实验在荷兰研究理事会（Dutch Research Council，NWO）2018年的Vidi基金项目的人文社会科学领域进行，该项目的评审团由代表不同学科的八个小组组成。为了实验的需要，NWO复制了这八个小组，创建了相应的“影子”小组。每个提交的资助申请都被分配给两位常规评审专家和两位来自相应影子小组的影子评审专家（注：资金资助最终的决策仅基于常规评审专家的评估结果）。

NWO根据资助申请书内容与评审专家专业知识的相似性、评审专家的偏好以及利益冲突，将常规和影子评审专家与申请项目进行匹配。NWO为常规和影子评审专家提供了标准评估表，并要求他们分别对研究人员的综合素质（简历分数），研究的质量、创新性和学术影响（资助申请书分数），以及利用知识为社会经济服务的潜力（知识利用分数）进行打分，分数由1（优）到9（差）。最终NWO计算的总分由简历分数（权重0.4）、资助申请书分数（权重0.4）和知识利用分数（权重0.2）加权求和而成。在每个影子评审小组中，随机选择一半的小组成员被分配到能浏览资助申请书的P条件，另一半则被分配到不能浏览资助申请书的N条件。

分析方法

本研究采用两种方法来检验前述假设：

（1）评审专家评分排名一致性评估：研究首先关注了评审团专家在打分排名上的一致性。具体而言，对比了在两种不同条件下（即前述P条件和N条件），影子评审团和常规评审团对申请资助项目的排名是否一致，并统计一致情况出现的频率。如果有资助申请书文本作用效果明显，那么与N条件下的资助申请排名相比，P条件下的资助申请排名会更符合常规评审团排名。

（2）评审专家评分分歧测度：研究其次比较了影子评审团中，P-P组和P-N组的评审团专家对同一资助申请的评分分歧，并用评分间的绝对差值进行呈现。同样地，如果资助申请书文本作用效果明显，那么比起P-P组，P-N组的评审团专家之间的评分差异会更大。

同时，为了保证分析结果的可靠性，研究采用了非参数随机化检验。该方法通过随机重新分配条件标签，模拟了不同的评审组合，以确保结果的客观性和科学性。

研究结果

首先，本研究检验了评审专家是否因为无法浏览完整的资助申请书文本而改变了对资助申请的排名。研究发现，在只有常规评审专家能看到资助申请书文本的P-N组中，评审专家对资助申请的排名一致性（55.2%）比都能看到资助申请书文本的P-P组（58.9%）低3.7%。随机化检验的结果表明，在5%的显著性水平下，P-N组和P-P组之间的分歧没有显著差异（双尾p值为0.43），如图1所示。表1显示，分别对简历、资助申请书和知识利用分数进行排名的一致性计算也只产生了很小的差异，且这些差异均不显著。这为原假设的拒绝提供了解释：假设是在资助申请书文本具有信息量的前提下得出的，而这一前提在数据中并未得到支持。

图1 评审团专家评分排名一致性差异（绝对差值）分布

注：垂线代表P-N组与P-P组匹配后的一致性百分比差异（-3.7%）。

表1 评审团专家评分排名一致性对比

在随后的分析中，本研究检验了P-P组和P-N组评审专家在评分上的分歧水平。表2显示了评审专家对资助申请不同要素评分的分歧情况。总体而言，两组之间的评审专家分歧水平变化不大。其中，P-N组评审员在总分上的分歧水平均值比P-P组低0.04，这一差异与两组的标准差（分别为0.67和0.63）相比很小。将实际组间差异与通过非参数随机生成的差异分布进行比较，研究发现两组之间在5%的显著性水平下没有显著差异（双尾p值为0.36），如图2所示。研究对简历、资助申请书和知识利用分数的分歧进行了类似的检验，结果与上述分析一致。

表2 评审专家评分分歧均值对比（括号内为标准差）

图2 评审专家评分分歧度分布

注：垂线代表P-N组与P-P组之间平均分歧的差异（-0.04）。分歧度以两位专家组成员审查同一资助申请时标准化总分的绝对差值来衡量。

综合考虑排名分析的结果，本研究最终得出结论：如果评审团中的一名专家无法浏览到完整的资助申请书文本，这并不会影响评审团对资助申请评估结果的共识。因此，研究原先的主要假设，即认为评审团成员能否浏览完整资助申请书文本会影响他们的评审一致性并没有得到支持，故拒绝原假设。

结语

本研究通过荷兰研究理事会（NWO）与作者合作进行的田野实验，深入探讨了资助申请书文本在评审团决策中的作用。实验结果表明，评审团成员在仅能浏览简历和简短摘要的情况下，对资助申请的评估与能浏览完整资助申请书文本时相比，并没有显著差异。这一发现挑战了当前科研资助评审过程中对详细申请书文本的重视，暗示了可能存在的资源分配效率问题。研究的结论强调，评审团在单盲评审中，即使缺少完整的资助申请书文本，也能实现类似的候选人选拔效果。这不仅对科研人员如何准备资助申请书提出了新的思考，也对资助机构的评审流程优化提出了挑战。在资助申请的准备和评审中，如何提高评审的公正性与效率，如何在尊重个体成就的同时，鼓励科学研究的创新和突破，这是每一个科研资助机构和科研工作者都需要深思的问题。

文献来源：Simsek, M., de Vaan, M. & van de Rijt, A. Do grant proposal texts matter for funding decisions? A field experiment. Scientometrics 129, 2521–2532 (2024). https://doi.org/10.1007/s11192-024-04968-7