比大学排行更重要的是什么？（草于2010年6月26日）

武夷山 中国科学技术信息研究所

第一，  比大学排行更重要的是排行所依赖的数据的质量。

计算机行当有个术语GIGO，意思是“垃圾进，垃圾出”——如果输入计算机的数据有问题，那么输出的处理结果仍然是有问题的，再高明的算法也帮不上忙。因此，踏踏实实地把源头数据给清洗干净是至关重要的。多年来，我们中国科学技术信息研究所“中国科技论文统计分析课题组”一直以高度负责的态度对待基础数据，尽量提高用于评价的数据的准确性。如果不小心，有可能出现很多问题。举个小例子，（中国）台湾有个东吴大学，其英文名称是Soochou University。因此，东吴大学发表的论文，在SCI数据库中说不定错误地归到了中国大陆苏州大学的头上。

（博主今注：事实上，我当年在中国科学技术信息研究所“中国科技论文统计分析课题组”工作期间，发现SCI数据库在某一年将东吴大学的不少篇论文归于苏州大学了。受此事刺激，从此我就对数据清洗分外敏感了。）

遗憾的是，现在研究科技评价指标设计与评价方法的较多，研究数据质量的却相对较少。我们呼吁：所有科学计量学工作者都要舍得在数据清洗上下功夫，这叫“磨刀不误砍柴工”。

（博主今注：拿姓名消岐来说，同一位作者，调动过工作单位，机器不难判断出，比如中国科学技术信息研究所的XXX和中国科学院文献情报中心的XXX其实是同一人；可是，假如中国科学技术信息研究所内就有两位同名的XXX，机器要想区分这两人的论文就要困难得多。此类问题迄今并未很好解决。）

第二，  比一维大学排行榜更重要的是数据的多维表现。

      大学排行的结果是个一维排列。这样的排行榜十分有用，但它同时“淹没”了不少有用的信息。例如，假定某大学被排在第10位，想冲击第9位，需要怎么做呢？排行榜不能给你任何线索。只有回到排行所依赖的指标数据上去，才能看出：下一步更应该抓论文还是抓专利？抓论文数量还是论文质量？但是，科技评价的结果如果采取多维表现方式，则有可能直观地看出努力方向所在。例如，澳大利亚科学与工业组织（CSIRO）在20世纪90年代初确定国家优先发展领域时，采用了二维图的表现方式。首先，他们将某科技领域取得长足发展与突破的“可行性”与该领域对实现国家目标而言的“吸引力”作为两个坐标轴，根据某领域在图上的位置来判断是否应将其作为优先领域。然后，将“吸引力”分解为“实现程度”和“潜在效益”两个维度，将“可行性”分解为“研发能力”与“研发潜力”两个维度，作进一步的分析。这样，作为被评价对象的每一个科技领域，一旦被“定位”在三张图中的任一张图上，其今后努力方向就一目了然了。尽管优先领域选择不是大学排行，但这样的评价思路与数据表现方式对于大学评价依然具有重要的启示意义。在这次高端论坛上，汤森路透研究分析总监乔纳森.亚当斯先生在其报告中提到的雷达图，也是数据多维表现的常见方法之一，值得推荐。