博主按：最近不少博主在讨论科研评价。我2012年8月29日发表的博文介绍了美国信息科学技术学会会刊（JASIST）的主编克罗宁对科研评价的看法，其看法对于当今讨论应有启示意义，故重贴一次这篇博文。

JASIST主编谈计量学研究的挑战

武夷山

2012年8－9月号的Bulletin of the American Society for Information Science and Technology是计量学专辑。该刊编辑部向4位ASIS&T资深会员（也是著名情报学家）问了同样的4个问题，JASIST主编Blaise Cronin对其中一个问题是这样回答的：

问：您觉得，计量学相关研究领域最急迫的挑战和机会是什么？ASIS&T（美国信息科学技术学会）可以如何定位来应对这些挑战和机会？

答：计量学相关研究面临几个重大挑战。首先，人们对相关研究的效度和可靠性一直有所疑虑。传统的引文指标和其他备选指标所测度的到底是什么东西？是质量、影响、显示度、价值还是声誉？第二，数据分布、可视化和比较评估所依赖的那些平台和数据集足够透明吗？值得信赖吗？第三，所有的引文／鸣谢／推荐等等都是等价的吗？还是需要给与不同的权重？进而言之，我们如何建立不同评价指标之间的当量关系？比如，被诺贝尔奖得主引用一次，在微博中被大肆表扬6回，在F1000中获得较高的评分，哪一种更有价值？关于符号资本货币的“兑换关系”，这样的思路并非无稽之谈。第四，人们很有理由担心，在“计量学意识”高涨的时代，总会有些学者和研究人员来想方设法与测度系统博弈。当然，“表演能力”并非一个新问题，“反引文人士”一直在诟病这种现象，但是，在指标数目剧增、评价者对这些指标（无论单一指标还是复合指标）的依赖程度也剧增的情况下，操纵指标的表演就会登上中央舞台。因此，在我看来，有这么一个大问题：会不会由于有各种数字指标可供利用，与此同时，人们对研究人员个体和群体进行跟踪评价的能力也越来越强，结果出现了一种控制论形态的控制系统，它与学术界传统的价值系统是格格不入的？ 

从祖上论过来，情报学也许是计量学相关研究之家，但是，我们并非该研究主题的拥有者，我们也无法管得住文献计量学手段的利用方式和利用原因。我很担心，任何学术团体都会规定，要通过文献计量学的理论与应用来认定研究人员资格。潘多拉的盒子已经打开。然而，美国信息科学技术学会所能作的，无非是通过其学会会议和期刊，为严肃认真的辩论提供一个场所，待辩论的主题是“基于计量学指标对学术研究绩效进行评价之理论基础和社会学意义”，希望通过辩论能够认识清楚不同测度方法的优势与局限。我也鼓励本学会与世界上所有对测度指标之编制、测试、效度检验和改善感兴趣的其他群体与组织合作。

（博主感谢国际科学计量学和信息计量学学会会长Ronald Rousseau先生提供原文。）