意大利的一次国家级科研评价活动

武夷山

意大利的第一次国家级科研评价活动（简称VQR）是在2011年底至2013年7月期间进行的，评价主体是“国家大学和科研院所评价局”（ANVUR）。评价的成果包括2004至2010年间发表或获颁的论文、图书、专利等，共约18万件。评价的目的是根据成果质量给参评的科研院所和大学院系分学科领域排序。以下，将所有各类成果统称为“论文”。

成果评价由14个专家组进行，每个组对应一个大学科。专家组的平均规模是32人。论文的评价，有的采用文献计量学指标（综合考虑论文所发期刊的影响因子和论文的被引次数），也有的采用同行评议（每篇论文请两位外部专家评审）。这两位外部评审专家由专家组选定，选择时考虑了应有的回避。如果两位评审人意见迥异，则再请第三位专家评审，或者专家组开会讨论以达成一致意见。

随学科不同，文献计量学评价的论文数和同行评审的论文数各自所占比例不一，但是事先规定，同行评审论文数不得低于总数的一半。最终的结果，全部论文中有53%是同行评审的，47%是用文献计量学指标来评价的，但各学科差异情况很大。具体说来，自然科学领域（物理、化学、生物、医学等）主要采用文献计量学指标进行评价，人文社科领域（艺术与人文、历史学、法学、社会学等）主要采用同行评审，而对于经济学、商学和统计学，则是两种评价法平分秋色。

另外，在采用文献计量学指标进行评价的自然科学和经济学论文中，再随机抽取其中的10%进行同行评审。换句话说，约有7500篇论文经过了两种方式的评价。

高校和科研院所的所有正式科研人员都得提交成果参加评审，不允许有选择地只报送科研业绩较好的部分人员的成果。不过，参评者并不需要提交全部成果：大学参评者提交自己认为最棒的3篇论文，科研中心的参评者提交自认为最棒的6篇论文。同一单位的人员合著的论文，只允许提交一次。如果同一单位不同的人员提交上来了同一篇合著论文，在评审前会剔除掉重复提交的。对于合著论文，由参评院系的院长或系主任决定，这篇论文归到谁的头上。

论文定性地评为“卓越”“优秀”“尚可”“一般”四级。得分排在前20%的算“卓越”，得分为1分；排在前20%至40%的算“优秀”，得分0.8分；排在前40%至50%的算“尚可”，得分0.5分。排在后一半的“一般”论文得分为零分。每个院系的评价得分为其提交的所有论文的平均分。

提交的所有论文中，男性作者的论文约占三分之二。约13%的论文是40岁以下研究人员撰写的；40-55岁者撰写的论文占55%；55岁以上者的论文占32%。

提交成果的74%是期刊论文，11%是图书中的章节，专著占8%，其他各类成果占7%。与男性比，女性科研人员提交的期刊论文在其成果总量中占比较低，而图书章节占比较高。女作者的论文中，26%是意大利语的论文，而男性的对应比例是21%。

Research Policy杂志2017年第5期（6月出版）上有三位意大利学者合写的论文，Gender effects in research evaluation（科研评价中的性别效应）。他们利用上述数据，尤其是7500篇经过两种评审的论文，进行了多角度的分析。在控制了各种变量后，他们发现，总体看来，文献计量学指标对女性的评价结果平均说来要好于同行评审的评价结果。当然，本文是用本人提交的几篇最佳论文作为研究对象的，如果扩大到每位作者的全部论文，“文献计量学指标对女性的评价结果平均说来要好于同行评审的评价结果”是否依然成立，就不得而知了。

博主：这就意味着，同行评审也许受到性别歧视的干扰（因为这不像期刊论文投稿的评审往往是双盲评审，VQR的评审者是知道作者的姓名、性别与单位的），而文献计量学评价则较为客观。