zhgzhang的个人博客分享 http://blog.sciencenet.cn/u/zhgzhang

博文

体验某国际学会大奖的评审 精选

已有 8258 次阅读 2016-11-6 09:27 |系统分类:科研笔记| 规则, 评奖, 国际大奖

       有幸成为某国际专业学会大奖评委,参加了该大奖的评审和投票。现在投票结果已经出来,但要等到明年2月份才宣布,目前还属于保密状态。

       这个奖是该学会若干奖项之一,以德国某大科学家的名字冠名,每年评一次。评审委员会名单早在年初就公布了(这么早?不怕候选人做工作?)而提名是在9月份截止。上一轮落选的候选人还可以作为本次评奖的候选人。提名结束后由评审委员会专家打分。

       评委登录学会指定的网站,可以看到候选人名单和被提名人的业绩简介。点击可以打开提名人写的更详细的候选人的业绩。还有候选人的简历、4-5封推荐信。推荐人很多都非常有名,有人的推荐人是诺奖获得者。评委要看的材料有五十多份,也很辛苦。

       候选人多来自欧美,有几个人真是大名鼎鼎。候选人中有米籍华人,但是没有本朝科学家。这也不奇怪,因为候选人的业绩都是十几年前甚至几十年前创造的。评奖看重的是开创领域,而不是技术创新。看了那些候选人的业绩,心情很复杂。那些人的高度,不是一般人踮起脚尖就能够得着的。

       提名人的综述材料对不十分熟悉该候选人的评委非常重要。有的提名人的材料写得非常有力,明确指出被提名人开创了什么领域,获得多少追随者的引用,是某领域之父。有的就写得很一般,按年代顺序说被提名者某年某年发明了什么,某年某年发明了什么,啰里啰嗦一大堆,不知其最重要的发现或发明是什么。当然,推荐人的佐证材料也非常重要。多是重复认可该候选人的贡献。提名人和推荐人的资历和名气也有相当大的影响力。一看提名人和推荐人都是牛人,打高分的心理就会占上风。

       打分实际上是排序: 1分最高,每个分数只能用一次。打分后,对每个候选人还要写一个200字以内的评价作为打分的理由。因为在众多的候选人中,只能有一人获奖,所以选第一名非常艰难。但不意味着以后的排名不重要。因为最终结果是几个评委的分数取平均。你评第一的,别人不一定评为第一,最终选举结果可能非常出乎意料。因此后面的排序也要仔细考虑。

       按常规,打分时要避嫌。如果某评委和个别候选人有利益冲突,不能打分,只能选COI。有个评委给评委会主席写信说,他和好几个候选人都有非常好的合作关系,是不是该退出评审委员会。会议主席回信说,像您这样的大人物不可能不认识这些候选人。我们相信您的评审是客观公正的。后来就没退。不过这个评委写信的时候,没忘把自己认识的候选人挨排儿夸了一遍,等于把自己的排序公之于众,有故意影响其他评委判断的嫌疑。

       投票结果是出人意料的(见下表。为了不泄密,除了人名用字母代替,分数和排序也做了调整):第一名竟然是谁都不认为应该优先获奖的人(有的评委甚至将其排在第五)!然而,规则就是这样定的,不是谁获1分多(例如候选人B得到两个1分)就是谁,而是综合评分谁最高,尽管没得到一个1分。这也是公平的,第一名和第二名的差距说明了这点。排名差距取决于对该领域不同分支的了解程度和对候选人对领域贡献的理解。单个评委的打分对最终结果的影响很小。

       从评奖过程看到,

       1)评奖过程是透明的。评委都是事先公示的,受到监督

       2)评奖方法是透明的。每个评委打分,最终由平均分决定

       3)最终结果是透明的。每个候选人得了多少分,最终谁胜出,都摆在明面上,没有任何人为操纵的余地。

候选人

得分(1为最高)

总分

平均分

A

3

5

3

3

2

2

18

3.00

B

4

4

1

8

1

5

23

3.83

C

5

6

4

1

3

7

26

4.33

D

2

2

8

6

5

3

26

5.00

E

6

1

2

7

6

8

30

5.00

F

1

3

7

5

7

9

32

5.33

G

9

7

6

2

8

1

33

5.50

H

8

9

5

4

5

4

35

5.83

I

7

8

9

9

3

6

42

7.00



https://blog.sciencenet.cn/blog-73961-1012975.html

上一篇:这个畸形社会把青年人的价值观扭曲到什么程度了!
下一篇:历史在选择,人民要选择:“We want a change”
收藏 IP: 124.205.76.*| 热度|

16 姬扬 李庆祥 吴斌 宁利中 刘明超 檀成龙 黄永义 汪晓军 强涛 赵凤光 刘钢 王晓峰 tianyuthu xlsd bridgeneer doctor5

该博文允许注册用户评论 请点击登录 评论 (17 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-1 18:21

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部