给基金项目评审人打分(110828)
闵应骅
最近关于基金项目评审的话题,议论比较多。评审人的选择当然很重要。无限扩大队伍不行,减少评审人也不行。怎么办?我来提个办法,就是根据同一项目不同评审人的结果及最后的评审结果,计算出一个评审人评审质量的分数。评审质量过低,下一年就不再被邀请为评审人。
如果5个评审人,4个都说好,只有1个说不行,而这题目又被评通过了,说明此人评审质量有问题的概率比较大。如果他审10个项目,有8个都是这样,那他的评审质量基本肯定有问题。
如果同一评审人审了15个项目,他赞成8个上,7个下。最后,那7个上了,而他建议上的那8个全下来了。那也说明他的评审质量不行。
当然这些都是极端的例子。这里给出一个计算公式,在自动评审系统中就可以自动计算出来,不需要人工介入。
设优先资助算2分,可资助算1分,不予资助算0分。假设当年给某人a送审了N个项目,他打的分分别是a1,a2,...,a15.
那么,同一项目多人评审就有一个平均分pj,0<=pj<=2. 该评审人的评审一致度定义为
pjy=(|a1-pj1|+|a2-pj2|+...+|a15-pj15|)/15
pjy越小,说明他的评审一致读越高。
最后,第i个项目被接收算1,被拒算0,计为bi。则其评审符合度定义为
pjx=((|δ(a1)-b1|)+(|δ(a2)-b2|)+...+(|δ(a15)-b15|))/15
其中
δ(x)=0 如果x=0,否则为1。
这说明,如果你打1或2分,最后取了;或者,你打0分,最后拒了,说明你打得比较准。pjx也是越小越好。
评审人的评审质量=pjx+pjy
如果评审质量高于某一个值,则取消下年的评审资格。
以上公式粗略想来,不一定合适。供参考。
基金申请
https://blog.sciencenet.cn/blog-290937-480500.html
上一篇:
从温州动车追尾事故想到的(4)(110824)下一篇:
从温州动车追尾事故想到的(5)(110918)