说明：本博客与微信公众号《林墨》同步更新，所有内容均为原创，可授权转载。请扫码关注《林墨》公众号。

从读研究生开始，我们便踏上一条可能成为科学家的道路。学术评价的对象不仅仅是科学家，事实上，学术评价已经提前渗透到研究生的国家奖学金评选过程中。

胡志刚 / 大连理工大学

注：图片来源于考研帮

一年一度的研究生国家奖学金评选，正在全国各大高校如火如荼的开展中。从2012年9月研究生国奖创立至今，这一奖项已经来到了第六个年头。争议声正在式微，但是打开小木虫的硕博家园，你会发现有关国奖的讨论热情从未消退。

天上掉下个奖学金

临近金秋十月，又到了收获的季节——至少对一部分研究生是这样的。对于这些研究生来说，能不能在接下来的学年里，向家里要钱的次数少一些，小日子过得相对体面一些，取决于他们能不能在与同班同学的竞争者突出重围，夺得这一含金量十足的国家大奖。

2012年的这个时候，我赶上了第一届研究生国家奖学金的评选。横空出世的研究生国奖以高达五位数的奖金数额，狠狠的打破了一片平和的研究生生活。

那时候，我们博士每个月只有学校发放的1500元补贴，勉强能够不向家里伸手解决基本温饱问题。作为一个校友捐赠不多的普通985（现在应称双一流）高校，博士生能够期待的最壕奖项来自宝钢奖学金（5000元）。

可能硕士生的情况更惨，可以评奖的机会甚至连本科生都不如，靠得奖来发家致富，还不如躺马路上碰瓷来的实际。

在此背景下，你可以想象，两三万的奖金金额一公布，别说是研究生们，连导师们都惊掉了下巴。向来抠门的教育部，一下子给这么多钱，确定不是为了考验研究生们面临金钱诱惑时的抵抗力吗？

于是，在巨大的利益面前，原本单纯无邪的同学友谊，小船儿是说翻就翻。我能理解教育部刻意为了激发研究生的竞争活力的初衷，可是也请考虑一下我们这些一贯与世无争的研究生们的心理承受能力。

评委导师们顶着巨大的思想压力为其实旗鼓相当的学生们评奖，有时候评谁不评谁都在两可之间，这时候真恨不得把这个国奖“碎尸万段”——早期好像还真有学校这么干过，将国家奖学金拆分给几个人平分，后被上级部门叫停。

获得国奖的最优策略

大部分高校的第一届国奖评选规则都仓促而粗糙。教育部发放国奖的时候，并没有附赠使用说明。所以，每个学校都是在摸着石头过河。好在大部分高校至少都积累了丰富的教师职称评聘经验，借用一下是最常想到的办法。

比如，将论文按照期刊级别、影响因子等进行积分，再为各项积分赋予不同的权重，按照得分评选最终的国奖得主。

定量的方法可以减轻了人为因素的干扰，但是设计一个合理的指标系统并不容易。我所在的学部的对于研一的学生是按照课程成绩占60%，科研成绩占20%的权重进行评选；研二的学生则是按照课程成绩占10%，科研成绩占80%的权重进行评选。

这看似是一个考虑了不同年级特点的合理赋权，但这仍然是一个拍脑袋的结果。我严重怀疑这一赋权策略并没有真的经过测算，比如，对于研一课程成绩的较高赋权，是否真的就能够将课程的重要性提高到一个具有区分度的程度？

大部分时候，课程成绩的部分根本起不到作用，因为大家的平均分都差不多，基本上都在88-92分之间，很难拉开距离。

国家奖学金的评选规则，背后体现的是对研究生的激励导向。一般而言，研究生在读期间有两大任务——上课和科研，这也是大部分国奖评选时考虑的最重的两个因素。但是，如果没有一个很好的权衡，赋权的大小会极大的影响最终的得分结果。

从我这几年参与评奖的经验来看，加权后的课程成绩的分差之小，几乎不能抵消发表一篇国内期刊论文的得分。因此，对于研究生们来说，可能最优的竞争策略是多发论文，而不是好好上课获得好成绩。

当然，人为把让课程的权重放大，让课程成绩起决定性作用，可能也有问题。因为上课的目的是为了教给研究生知识，而不是为了把他们分成三六九等。如果上课的目的被异化，这可能也会违背研究生教育的初衷。

评选国奖的技术问题

研究生国奖设立六年之后，我已经由一个参评者变成了一个评委老师甚至是组织者，但是六年过去，我们还没有真正解决国奖评选中的许多技术问题。

前面提到了课程成绩和科研成绩的赋权问题。其实，这两个方面单独拎出来一个，都是一个值得专文讨论的技术难题。

拿科研成绩的计算来说吧。发表一篇国际论文算多少分？一篇国内论文算多少分？一篇会议论文算多少分？SCI收录算多少分？CSSCI收录算多少分？北大核心算多少分？论文的影响因子算多少分？进入ESI高被引论文列表算多少分？第一作者算多少分？第N作者算多少分？科研成绩的总分是设个满分还是上不封顶？

这些问题中的每一个，不同的人都可能给出不同的答案。

相对于科研成绩的计算，课程成绩的计算看似简单，其实更为复杂。

第一，计算课程成绩时，是所有的课程都算分？还是只有必修课算分？一个专业的同学选修了不同的选修课，在计算平均分的时候怎么保证可比性？

第二，有些成绩不给分值，只给A/B/C档甚至是P/F，那么这些课程是否要折算成成绩？怎么折算？还是干脆不算分？那不算分是否公平？

第三，是用各门课程分数的总和还是用平均分？在计算平均分的时候，是计算直接平均分还是加权（按学分）平均分？是用算数平均分还是几何平均分？

最后一点，也可能是最重要的一点，每个课程的给分情况是不一样的。有的课程老师给分比较温柔，给的分数都在90分上下；有的课程老师比较犀利，给的分数从60分到90分不等。显然，这时候后者就会在计算平均分时就起到决定性作用。这种不合理因素怎么解决？

而且更为无奈的是，根据我们的经验，通常我们专业自己的老师给分都比较温柔，反而是一些别的专业开设的限选课程，经常给我们的学生打出六七十分的低分，直接影响学生的平均成绩。所以，要不要对各门课程的成绩进行标准化？又如何进行标准化呢？

打分，量化评价的最后歧途

后来，可能是唯恐这事还不够复杂吧，我们又增加了一项指标，让导师们和同班同学为参选者的“日常表现”打分，以弥补学生只重视学习科研不重视其他方面的情况。且不说打分同样面临着如何设置分差和权重的问题，单就一点——

这个“日常表现”是什么？

学术活动的时候能够积极参加并且帮着打扫卫生？参加学院的乒羽运动会并获得一等奖？给老师写邮件的时候加个称呼而不是直接‘见附件’？还是说路上遇见老师的时候能够热情的打个招呼？

那如果人家学生路上遇不到老师怎么办？要不要根据老师吃饭的时间去教工食堂蹲点制造点偶遇呢？

如果得分项和扣分项都不明确，那么打分就是耍流氓。学生也不知道应该往哪方面努力。

此外一个问题，给学生打分的时候，自己的导师应不应该回避？

按照常理，如果学生参评，学生导师当然应该是回避，可是以我们研究所的实践，这样的话，基本上就没有评委老师了。所以，即便学生参评，导师可能还是当评委打分。那要不要给自己的学生打分呢？

我们定的是导师不能给自己的学生打分，因为这对于其他学生不公平。

很好！这就是说，理论上，我的学生完全可以不用听我的话和完成我交代的任务，应该把时间精力放到“讨好”其他老师身上才对，因为是别的老师（而不是我）对于他的日常表现有发言权，——即便那个老师可能都叫不上他的名字！

“咱们还是举手投票吧~”

作为专门从事科学学与科技管理研究的研究机构，六年来，我们一直试图用一个完美的定量的指标体系一劳永逸的解决研究生国奖的评选问题。直到最后我们发现，最简单有效的方法仍然是投票。

如果每个评委老师手里有全部参选学生的课程成绩（具体到每一门）和科研成绩（具体到每一篇论文），实际上评委们能够很快达成一个收敛的票选结果。

我们曾经尝试过用等额投票、差额投票乃至给出排名等多种办法，大部分时候都能够直接得到大家公认的评选结果。偶尔的时候，会出现平票的情况以至于需要再投一轮，这时候就需要两人PK，如果还是平票则直接进入黑夜（等等，这好像是狼人杀的规则）。

利用投票的方法评选国奖，评委老师的主观性会对投票结果产生重要的影响，如果一个评委老师投的比较草率，或者夹杂进了其他个人因素，就可能影响整个评选的机制和结果。

不过相对于打分，投票还是要安全的多。打分的危险性在于它给了单人匹马操控全局的能力。比如，参评者张三略优于李四，但是我作为一个评委老师私心想让李四上，我就可以合理利用规则，给李四打极高分，给张三打极低分；考虑到其他人给的分差不会太大，所以我很容易凭我一己之力，就成功让李四逆袭。

而投票的方法，就很难让单个评委老师获得这样的机会，因为即便我再倾向于李四，也仅有区区一票。

坦率的讲，如果可以启用外部评委来投票，投票的结果通常反而会更加公平，就象各类基金的评选一样。所以，在评选国奖的问题上，我们遇到的唯一问题是——

怎么来评选评委老师？

----- The end -----

脑洞

我想将来还是应该回到定量指标的测评的路上来，毕竟更公正也更省事。前面提到赋权的难题，将来或许可以交给机器学习的算法解决。如果我们能够积累到足够多的训练样本（比如50年的标记样本），就可以利用决策树、支持向量机等模型生成一个判别式，来帮我们判别一个参选者是否应该获奖。只是，考虑到我们离积累到足够多的训练样本可能还有一段距离，不知道我还能不能等到这一天的到来......

编者注

如果50年后，中国的学术评价还要完全依赖指标、算法、机器......，中国的学术界就让人看不到希望了。但研究生国奖并不完全是学术评价，学术成果只是研究生成绩的一部分。众多因素掺杂在一起之后，维持公平最好的办法或许还真得靠指标、算法、机器......