俞立平博客——邗上居分享 http://blog.sciencenet.cn/u/yuliping 科技评价、技术创新、信息经济 镜像博客:http://www.yuliping.com

博文

谈谈项目评审的极端做法——纯匿名同行评议

已有 3210 次阅读 2023-5-6 14:49 |系统分类:观点评述

科研项目评审事关每个科研人员的生存发展,历来受关注度很大。目前大致有如下几种评审做法:

第一,同行评议。经专家匿名同行评议,直接给出结果。

第二,会议评审。通过专家会议评审,给出结果。

第三,同行评议+会议评审。结合以上两种方式,貌似主流的方法。

第四,委托项目。直接由发包方委托。

当然任何评审都有一定的问题,但是会议评审其实是颇受争议的。如果这样,干脆将这个取消,那么只有两种方法,一是同行评议,二是委托项目,后者并非主流。

同行评议也有问题,如果能解决以下问题,是否可以考虑采用同行评议评审:

第一,尽量小同行。使得专家能不外行,通过申请书的文本分析,和专家研究领域匹配,这似乎没有问题。

第二,尽量匿名。研究基础啥的做个统计分析,我看大概率没有问题。在什么级别期刊上发表过几篇论文,被引多少,做过什么级别的项目,数量等等。即使在“破五唯”背景下,这些数据还是能说明一定问题。

第三,专家打分必须要有区分度,比如规定方差必须大于10,或者分数必须在某个区间。

第四,请统计学专家对专家打分进行汇总分析,解决专家打分平均值不相等问题、区分度不一致问题等等。

第五,采取必要的措施保证专家打分公平等。

专家匿名评审肯定比会议评审公平,我想这一点没有分歧吧。既然如此,为什么不采用一种极端的项目评审方法呢?当然同行评议也有问题,但在评审风气优化的前提下去改进同行评议是相对容易的事情。


                                              2023.5.6 俞立平




https://blog.sciencenet.cn/blog-45134-1387009.html

上一篇:当下审稿水平正在下降
下一篇:趣谈用过时的技术解决现实问题
收藏 IP: 120.236.144.*| 热度|

5 许培扬 武夷山 周忠浩 冯兆东 李剑超

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-10-10 18:47

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部