闵应骅的博客分享 http://blog.sciencenet.cn/u/ymin 一位IEEE终身Fellow对信息科学及其发展的看法

博文

给基金项目评审人打分(110828) 精选

已有 5987 次阅读 2011-8-28 17:26 |个人分类:杂谈|系统分类:观点评述| 基金评审

给基金项目评审人打分(110828)
闵应骅

    最近关于基金项目评审的话题,议论比较多。评审人的选择当然很重要。无限扩大队伍不行,减少评审人也不行。怎么办?我来提个办法,就是根据同一项目不同评审人的结果及最后的评审结果,计算出一个评审人评审质量的分数。评审质量过低,下一年就不再被邀请为评审人。
    如果5个评审人,4个都说好,只有1个说不行,而这题目又被评通过了,说明此人评审质量有问题的概率比较大。如果他审10个项目,有8个都是这样,那他的评审质量基本肯定有问题。
    如果同一评审人审了15个项目,他赞成8个上,7个下。最后,那7个上了,而他建议上的那8个全下来了。那也说明他的评审质量不行。
    当然这些都是极端的例子。这里给出一个计算公式,在自动评审系统中就可以自动计算出来,不需要人工介入。
    设优先资助算2分,可资助算1分,不予资助算0分。假设当年给某人a送审了N个项目,他打的分分别是a1,a2,...,a15.
    那么,同一项目多人评审就有一个平均分pj,0<=pj<=2. 该评审人的评审一致度定义为
         pjy=(|a1-pj1|+|a2-pj2|+...+|a15-pj15|)/15
pjy越小,说明他的评审一致读越高。
    最后,第i个项目被接收算1,被拒算0,计为bi。则其评审符合度定义为
        pjx=((|δ(a1)-b1|)+(|δ(a2)-b2|)+...+(|δ(a15)-b15|))/15
其中
         δ(x)=0  如果x=0,否则为1。
这说明,如果你打1或2分,最后取了;或者,你打0分,最后拒了,说明你打得比较准。pjx也是越小越好。
    评审人的评审质量=pjx+pjy
如果评审质量高于某一个值,则取消下年的评审资格。
    以上公式粗略想来,不一定合适。供参考。

基金申请
https://blog.sciencenet.cn/blog-290937-480500.html

上一篇:从温州动车追尾事故想到的(4)(110824)
下一篇:从温州动车追尾事故想到的(5)(110918)
收藏 IP: 121.18.127.*| 热度|

10 郑波尽 许培扬 梁建华 俞立平 徐耀 王桂颖 陈儒军 田菩提 吕喆 程翥

发表评论 评论 (23 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-27 02:26

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部