Leeye的个人博客分享 http://blog.sciencenet.cn/u/Leeye

博文

再谈自然基金的分阶段评审 精选

已有 710 次阅读 2025-12-30 09:21 |系统分类:观点评述

        前一段时间针对这个问题写过一篇博客文章,这里再整理一下最近这几个月的思考。这一改革举措的另一个核心实施主体是评审专家,其评审感受、应对策略与潜在行为,直接决定了制度能否落地见效。诸多既往的实践信号表明,若忽视人性规律,简单沿用传统打分制,分阶段评审很可能陷入“制度空转”的困境,而考虑排名制或许是破解这一困局的关键路径。在实际推进中,首先要直面的是评审专家的行为选择。作为领域内的权威人士,评审专家不仅肩负着专业判断的职责,也受限于人性的普遍规律,也就是面对复杂的评审任务和潜在的科研活动压力,其潜意识里往往会寻找降低评审成本、规避风险的路径,甚至不自觉地绕过制度约束,回归到熟悉的传统成果评价模式。

NSFC函评第前段阶段的核心目标是通过盲审筛选出具备核心科学价值与原始创新潜力的项目,这与基金委“提升原始创新能力”的改革导向高度契合。若此时采用固定分值评价(如百分制),一种可预见的消极应对便会出现,比如评审专家为避免争议、减少决策成本,往往会给所有申报标书打上相对中庸的分数,比如集中在70-80分区间。这种“平均主义”的打分方式,看似稳妥,实则彻底消解了第1阶段盲审的核心价值,我们原本期望通过盲审精准甄别项目创新性与科学性的目标落空,模糊的分数区间无法区分哪些项目具备突破性科学价值、哪些项目存在核心逻辑缺陷。更关键的是,NSFC当前部分学部优先资助+同意资助比例已降至30%左右,中庸打分将导致优质项目难以脱颖而出,无论该阶段在整体评审权重中占比多少,都无法实现“阶段性筛选、精准分流”的改革目标,最终让函评两子阶段的精细化设计沦为走过场,与传统NSFC评审模式并无本质区别。

破解这一可能困局的一个基本思路,在于重构评审的核心逻辑,将盲审阶段可能的打分制转向排名制。针对同一批次、同一学科代码分组的一二十份标书,让评审专家围绕核心评价维度,也就是“创新性、科学性”两大核心维度进行相对排名,而非给出具体分数,这种方式可能更符合专家作为自然人的非定量化能力,半定量化能力(真要精准打分,可能就误差太大了)。从NSFC评审实践来看,专家对项目“创新性强弱、科学性高低”的相对优劣判断,往往比“精准分值界定”更准确、更高效。在当前申请人“讲故事能力普遍提升、高影响因子论文普及”的竞争背景下,要区分出“谁的创新点更具原始突破价值、谁的研究设计更严谨贴合科学问题”,远比给每篇标书精准打分容易得多。如果逼着专家去打分,那些打七八十分,中庸成绩的专家,我倒觉得是很负责任的。替评审专家着想,做专家能做的事情。

这里讨论了排名的合理性的一些问题,接下来需要思考的是排名与最终评价结果的衔接——即如何将排名转化为可量化的分数,并合理设定其在整体评审中的占比。这一环节是分阶段评审的核心枢纽,直接决定了排名制的最终价值。从实践来看,排名到分数的换算想起来至少有几种路径,而大数据与人工智能技术的介入,可能会让这一换算过程更加客观(相对于个体专家的分阶段自由打分)、更公平。

第一种路径是固定算法换算,即设定统一的换算规则,比如将组内排名前10%的项目对应90-100分,10%-30%对应80-90分,以此类推,能不能到最后10%对应10-0分?这种方式的优势是简单透明、易于操作,能降低评审的复杂性,但弊端也很可能很明显,无法兼顾项目的个性化特征和评审专家的个体差异,可能会导致部分特殊项目的评价偏差。但这种方式可能也有一个很好的措辞上的优点,打这打分的旗帜,干着排名的勾当。

第2种路径是采用一种相对复杂,但是也具有固定计算公式的换算方法。这里边我们可以考虑几乎涉及到评审的各个因素,例如,不同学科的差异、整个领域的申请状况及分组特征、核心价值的匹配度、专家系数等等。这样的优势也比较明显,几乎整个过程是可控和可以理解的。

最后一种路径我还是想说一下是智能算法换算,也就是借助大数据人工智能技术,构建高维度的评价模型,实现排名到分数的精准映射。这种方式理念上需要花费一定力气来推进的,我们要相信人工智能。甚至要客观的考虑评审专家作为自然的人和认知智能大模型之间的差异性,哪一个更好?哪些效果是我们更想要的?

这里只是谈一下基金评审函评的第1个阶段。最后我有一个感觉,搞好这个看起来很小工作的实行,可能会迎来中国基础科学研究的一个新的爆发期,和科学研究理念的重塑。

另外,值此年末,衷心的预祝科学网的网友身体健康,马年腾飞!

 



https://blog.sciencenet.cn/blog-3244891-1516372.html

上一篇:探讨王树义老师文章“AI算不算一种研究方法?” 部分内容
收藏 IP: 123.139.56.*| 热度|

3 王涛 崔锦华 郑永军

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-12-30 12:28

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部