莱兹多夫谈基于文献计量学指标的科研评价

武夷山

荷兰科学计量学家、普赖斯奖得主LoetLeydesdorff（过去我译为“洛埃特. 雷迭斯多夫”，根据其发音应改译为“路特. 莱兹多夫”）即将在Journal of Informetrics（信息计量学杂志）发表一篇文章（该杂志网站已于2017年2月24日公布此文），题为In Praise of Bibliometrics（为文献计量学点赞）。这是一篇书评，评论的是加拿大魁北克大学蒙特利尔校区的科学史与科学社会学讲席教授Yves Gingras写的Bibliometrics and Research Evaluation（《文献计量学与科研评价：应用与滥用》，该书是“情报学历史与基础丛书”之一，麻省理工学院出版社2016年10月出版）。莱兹多夫在介绍、评论该书的过程中，也谈了自己对基于文献计量学指标的科研评价的看法。下面我根据自己的理解表述一下他的部分看法（不是逐字翻译）。

他以自己为例，说明基于文献计量学指标的科研评价是多么复杂，多么容易出问题。他说，在大学评价中，肯定要把教职员工发表的论文归到其所属的系科去。他本人任职于阿姆斯特丹大学传播学（communication studies）系，但自己是情报学家/科学计量学家，并非传播学家。那么，评价传播学系所要考察的几个学科类别，他的论文都对不上。这个问题无法靠知识抽象来解决，评价误差将是永久性的。假定有人提出的解决方案是：打破系科界限，完全根据员工发表论文的学科属性来进行评价，那新的问题又来了：莱兹多夫的论文并非都是情报学论文，有的是偏向社会学领域的论文（博主补充：他当年拿的是社会学博士学位）。换句话说，无论是根据系科来归类，还是根据知识体系来归类，都会有误差，只是误差类型不同而已。

评价就需要模型，而模型对排行是有影响的。模型的影响是不可避免的，因此，被评价者（无论是个人还是单位）总有理由抱怨，认为其他的模型更合理（也就是说，评价结果对自己更有利）。在集总层次上观察趋势的做法，其实是做出了潜在的假定：对个体评价所发生的误差会相互抵消掉。那么，大学是足够高的集总层次吗？在较高集总层次上（例如省级和国家层次）观察到的稳健趋势也许对于制定国家科技政策有帮助，但是，机构评价（大学和院所层次的评价）还是需要在基础归类方面做到细致和准确的。人们一般是对机构结构或学科结构矩阵中的矩阵元进行评价，例如，对某国所有大学中的化学学院或化学系进行评价。但是，若不考虑一个大学具体的化学专业（比如，生物化学还是物理化学）强项是什么，是无法简单化地将大学甲的化学系与大学乙的化学系进行科研绩效对比的。再说了，也许生物系和医学院里也在从事相关的化学研究呢。

Gingras在其著作中没有讨论这些问题，他觉得，通过理性对话、纠正错误和防止指标滥用，这类问题总能解决。莱兹多夫可不那么乐观。因为他认为，评价模型就涉及参数选择，而不同的参数选择就会带来不同的评价结果。例如，他发现，在莱顿大学的大学排行榜中，美国卡内基梅隆大学2016年的名次比2013年下降了，导致其名次下降的因素中，72%以上要归于模型参数的变化，而不是该大学自身科研业绩的退步。

莱兹多夫说，他提出了很多问题，但并没有答案。这些目前没有答案的问题正是需要提上研究日程的。