yzhoucn的个人博客分享 http://blog.sciencenet.cn/u/yzhoucn

博文

也谈科研评价体系(8) 精选

已有 5688 次阅读 2016-8-25 22:02 |系统分类:观点评述

我们可以用一些数学和算法的概念来形式化这个评价体系。其中,重要的概念和函数如下:

1、 $Researcher=Reviewer$ - 所有研究工作者,同时也是评委的集合。

2、 $Work$ - 研究工作的集合。

3 $Contribution:Researcher\times Work \rightarrow [0,1]$ - 一个研究工作者在一项工作中的贡献因子。如果x是一个研究工作者,y是其参与的一项研究工作,那么Contribution(xy)就是xy这个研究工作中做出贡献的因子。其中,0表示毫无贡献,1表示完全贡献。这个将由提名这个研究工作的研究工作者(们)指出每位研究工作者所扮演的角色,并给出一个参考贡献因子。如果评委们不同意该贡献因子,有权利自行调整。

4、 $Relevance:Reviewer \times Work \rightarrow [0,1]$ 评委对某一个研究贡献的相关性程度,也即同行程度。这个由一个公开的算法所决定,并不由评委决定。该算法基于研究者和评委以往的工作、研究者和评委所引用的文章、所研究的领域等公开的数据来决定,并且在评委评价该工作的时候事先给出。如果x是一个评委,y是一个研究工作,那么Relevance(x,y)就是x对工作y的熟悉程度,或者说同行程度、相关程度等。其中,0表示毫不相关,1表示完全相关。

5、 $Conflict: Reviewer \times Work \rightarrow [0,1]$ 评委对某一个研究贡献的冲突程度,也即到底有多少利益关系。和相关/同行程度样,这个由一个公开的算法所决定,并不由评委决定,也在评委评价该工作的时候事先给出。该算法基于研究者和评委是否有过合作/或合作的合作、是否有师承、朋友等关系等公开的数据决定。如果x是一个评委,y是一个研究工作,那么Conflict(x,y)就是x对工作y的利益冲突程度。其中,0表示有最大冲突,1表示完全无冲突。

6、 $History: Reviewer \rightarrow [0,1]$ 评委的评价记录,可以简单粗暴的定义为评委在过往评价中的正确率。这个数据公开,一方面能敦促评委们严肃评价,另一方面也许能推出类似于许劭那样的评论大师。

7、 $Decay:\mathbb{R}\times\mathbb{R} \rightarrow \mathbb{R}$ 衰减函数,其中第一个实数表示一个研究工作的水准,第二个实数表示时间跨度,第三个实数表示该研究工作经过一段时间后的衰减值。我们倾向于把权重放在顶级工作上面,所以越顶级的工作的衰减周期越长。当然,这个衰减函数计算也必须公开。

8、 $RLevel: Reviewer \rightarrow \mathbb{R}$ -评委/研究工作者的学术水准,这个完全基于其完成的研究工作经过衰减后来判断。设x是一个科研工作者,w1,…wnx所作的研究工作,t1,…,tn分别为w1,…wn到当今的时间差,那么:

$RLevel(x)=Min\{\frac{Decay(WLevel(w_i),t_i)}{Contribution(x,w_i)},1 \le i \le n\}$

其中WLevel(wi)是下面要提到的对于一个工作wi的评价。这里,Min函数表示,仅采用该研究工作者最好的研究工作来评价。

9、 $WLevel: Work \rightarrow \mathbb{R}$ - 研究工作的水准,这个基于评委对该工作的加权评价。设x是一个研究工作,并且被提名为k流,而r1,…rn是对这个工作评价的评委,Value(ri,x)是评委ri对于该工作x的评价,要么是1,要么是-1。那么,

$WLevel(x) =k \textrm{ if } \\ \Sigma_{1 \le i \le n} \: e^{-RLevel(r_i)}\times Relev(r_i,x)\times Conf(r_i,x) \times History(r_i) \times Value(r_i,x)>t$

这表明,如果所有评委的加权评价大于某个阈值t(比如t=0),那么这个工作提名成功,被认为是k流的工作。否则,这个工作提名失败,提名失败的工作不给与评价等级。其中 $e^{-RLevel(r_i)}\times Relevance(r_i,x) \times Conflict(r_i,x) \times History(r_i)$ 是评委ri对于该工作的权值,该权值与评委的学术水准成指数正比,与评委和该工作的相关系数成正比,与评委和该工作的冲突系数成正比,与评委的评价水准成正比。评委的权值在评委评价该工作的时候可以算出,并且事先通知给评委。

通过上述算法,我们就可以建立一个系统来实现这个评价体系,而这个实现具有可操作性。




https://blog.sciencenet.cn/blog-3135216-998700.html

上一篇:也谈科研评价体系(7)
下一篇:也谈科研评价体系(9)
收藏 IP: 137.154.151.*| 热度|

3 黄永义 陈南晖 xlianggg

该博文允许注册用户评论 请点击登录 评论 (8 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-16 18:06

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部