何为衡量研究人员科学影响力的最好方法?

诸平

据《美国国家科学院院刊》（PNAS）2013年6月11日出版的最新一期杂志刊登的论文（Determining scientific impact using a collaboration index) 报道——对于如何来评价科研人员的研究成果的影响力，美国伦斯勒理工学院（Rensselaer Polytechnic Institute）的研究人员提出了用合作指数来确定科学影响一种新方法，详见Jonathan Stallings, et al. "Determining scientific impact using a collaboration index." PNAS Early Edition. DOI: 10.1073/pnas.1220184110。在该文中作者根据合作者的贡献提出了A指数（见表1,其中红字部分是利用现有数据的预测结果，其相关性系数R²>0.99）。合作者的贡献可以分均等贡献和非均等贡献2种情况，均等贡献相对比较容易得到其贡献大小，即合作者总人数的倒数；而非均等贡献的计算是以表1作为参考标准，给出了其贡献大小的分配指数。

     从定性的角度来看,要确定一位优秀的研究人员并不是什么难事，依据他发表的优秀论文多少即可给出结果。但定量测量这些论文是更复杂的,不是IF或者“核心期刊”就可以确定的，因为它们可以几种不同的方式来进行评价。在过去的多年间, 已经提出了几种不同的评价指标,以某个人在同行评议的出版物上发表论文的数量和质量来决定其科研水准的高低。然而, 当一篇论文有多个作者时，这些指标大多数假设所有作者的贡献均等。一项最新的研究显示,研究者认为,这一假设使这些指标带有一定的偏见，而且研究者提出了一种新的度量指数,是根据所有合作者的相对贡献大小来论功行赏,产生了一种获得某研究人员科学影响力的合理方法。该研究成果2013年6月11日已经在最近一期PNAS发表。

美国伦斯勒理工学院（Rensselaer Polytechnic Institute）生物医学工程系教授，通讯作者王革（Ge Wang音译）在对物理学家组织网（Phys.org）谈到，“因为我们都有信用卡,不用说, 在日常生活中衡量信用是非常重要的,如何衡量智力声誉是一个热门话题,但一直没有一种严格地方式来衡量团队中个体成员的科学影响，比如合作在同行评议出版物上发表的论文等。王革等人的论文为回答这个基本问题提供了一种解决方案。

目前,评议个人科学影响最常见的一种就是H指数,它反映了一个研究人员发表论文的数量和被引用次数的多少。具体地说,某科学家有一个H值，是指其发表的论文中有H篇论文至少被引用H次,其他论文的被引次数均在H次以下。但是H指数并不考虑合作者对于论文贡献大小的可能性，也有很多情况其H指数并不一定适合。例如,当一个研究者只有少数几篇出版物，但它们的被引频次很高，此研究者的H值会因为发表论文的数量而受到限制。

要评价一个科研人员的学术成就，仅考虑其发表的论文总数并不妥，还要看这些论文的质量，但是将期刊的影响力（如影响因子IF）视为论文的质量指标也是同样不妥，必须具体地看其论文的被引用情况。一种常用的简单方法是统计一个人发表的所有论文的被引用总次数。总被引频次的缺陷就是极个别的几篇高引论文可能会掩盖其他被引频次很低甚至无人问津的一些论文，使其总体成就因此而被夸大，特别是如果被引次数高的论文是多名作者的合作成果，则其水分更多。而且，有的综述性文章的被引次数往往会比原创论文更高，但是它并不代表作者的学术成果，仅仅为研究者提供了动态性的研究概论。

另一种方法是把被引用总次数除以总论文数，得到平均被引次数。但是这种做法对论文少的人有利，而对论文多的人不利。如果只统计某个人“重要论文”（被引次数较多）的数量，或这些论文的被引总数。“重要论文”的界定缺乏可供参考的标准，选择过程难免带有人为的随意性。2005年底，为了解决这些问题，美国加州大学圣地亚哥分校物理学家乔治·赫希(Jorge E. Hirsch)提出了一种新的、已开始在美国应用的定量评价科研人员的学术成就的新方法——“H指数”。赫希将自己提出的新方法首先写成一篇论文，于2005年8月份率先在网上公布，当时就引起了广泛关注。英国《自然》（NATURE）、美国《科学》(SCIENCE)都立即进行了报道。2005年11月份赫希的论文正式在PNAS上发表。

乔治·赫希提出的H指数是最好用于比较类似的科学时代的研究人员,高度合作的研究人员可能会出现H指数值膨胀现象，因此他建议基于合著者的平均数来规范H指数，但对于在合作过程中的贡献大小以均等论处。可见H指数依然存在一定的局限性。

H指数的局限性1——不适合用于评价年轻科学家

H指数的高低与从事科研的时间长短有关。对于年轻科学家来说，由于发表论文数量太少，论文的数量成了其H指数的上限，计算其H指数没有多大的意义。H指数比较适合用于衡量已从事科研多年的资深科学家的总体成就。一个人的H指数不会随着时间的推移而减少，只会增加或保持不变。

H指数的局限性2——不适宜于评价历史上的科学大师

因为H指数涉及到被引频次，但是不同数据库的建库时间不同，包容的文献时段存在差异，有些早期的文献尚未收录，难以确定被引情况，因此用H指数来评价历史上科学大师的成就，明显存在很大的局限性。例如，如果根据SCI的收录计算大物理学家费曼的H指数，仅为21，按赫希提出的标准只能算是一名“成功科学家”。SCI未收录1955年之前的物理论文，费曼在1955年之前发表过17篇论文，即使把这17篇论文全部算进去，费曼的H指数最多也就是38，也还没有达到“杰出科学家”的标准。老一辈科学家并不像当代科学家那样频繁发表论文，而且他们的重大贡献很快成为专业常识，人们在提及时不再引用其论文，这两方面的原因使得他们在H指数方面大大吃亏。再如国内的数据库大约在20世纪90年代才陆续创建，个别重要期刊的文献收录可以追溯到20世纪70年代末，而且是以中文文献为主，这些条件均对于以H指数来评价科学大师会带来严重影响。

H指数的局限性3——自引与他引混为一谈

论文引用包括作者自引和他引两种情况，SCI和CNKI在统计时并不对二者进行区分。显然，自引次数的多少与论文的影响力毫无关系，但是如果有些科研人员故意频繁自引，制造论文被引次数高的假象。尽管赫希认为H指数的一个优势是很难通过自引来拔高，“无法伪造它”，因为它衡量的是一个人的全部学术成果能否经受时间的考验。波士顿大学物理学家悉尼·莱德纳接受《自然》(Nature)的采访时对此也表示同意：“想要假造全部的科研生涯是非常困难的。”但是，在利用H指数进行评价的过程中，我们对于高自引以及“友情互引”等不正常的引用现象带来的影响不可忽视。

然而, 王革等人在这项新的研究中考虑了合作者的相对贡献大小,使偏见降到最小化。表2是王革等人论文的9位合作者，根据不同方法，按照其贡献大小计算得出每一位合作者的A指数。

王革说，“科学生产力和影响力的任何定量测量实际上都有存在一定偏见,因为智力是最复杂而奇妙的,要对其绝对测度是不可能的,任何测度都难免存在过失，这正是不断进行深入研究的乐趣所在。当我们由于多种原因不得不对某一篇论文进行衡量时,我们运用公理化文献计量学方法就是人们希望的最好的一种选择。”因为这种方法来源于公理（axioms）,故被称为A指数（A-index）。在A指数中,将每个合作者分配给某一组。对于一篇出版物而言，如果只有一位作者,则作者拥有A指数为1。如果每一位合作者的贡献大小均等，大家均分即可。若4人合作完成，均分结果每人A指数为0.25。但是如果每个合作者的贡献不同,根据贡献大小分组，得分多少是与其权重有关。例如,4个合作者以降分排列其A指数分别为0.521、0.271、0.146和0.063。

一个研究人员的A指数总和称为C指数（C-index）, 是根据研究者的相对贡献给出的发表论文的加权数。A指数(是单篇论文的度量标准)也可以用于衡量个人对于一篇论文的质量分享,无论质量是以杂志的影响因子（IF）来定义还是以论文的引用数量来定义。这些值的总和就是生产率指数即P指数(P-index)。对186名生物医学工程研究人员进行C指数和P指数测试时，同时进行仿真测试,研究人员发现这些指标与N指数（N-index）和H指数（H-index）相比,提供了一种更公平、更均衡的科学影响测量方法，其中N指数仅仅是一个研究人员发表论文的数量。

一个重点比较就是,虽然高H指数需要发表大量的论文, 只有少数论文的研究人员照样可以获得高P指数,如果他们的论文发表在一些高影响因子期刊上或获得大量的引用。研究人员也可以通过发表很多比较重要的论文达到一个高P指数。通过这种方式,P指数既考虑到合作者在合作成果中的相对贡献，有顾及了发表论文数量和质量之间的关系,并非仅依靠于一个研究人员的发表论文总数量。这种计算方法的优势使得P指数明显不同于H指数，它可以用于年轻研究人员和用于比较具有不同的合作趋势的研究人员科学影响力的评价。

王革说他们的公理框架是一个公平的和敏感的运动场, 应该鼓励更顺利,更大范围的合作,而不是沮丧的单枪匹马式孤军奋战。因为众所周知, 在许多情况下1+1>2而不是数学上严格的1+1=2,特别是对于日益重要的跨学科研究项目，合作研究的优势更为突出。但是王革等人同时指出,他们提出的新指标体系，也存在着一定的缺陷，其中之一就是缺乏一个合作者排名的明确定义系统,这是所有合作度量中的一个棘手问题。他们强调开发一个定义良好的合作者排名系统对于实现这些指标的全部潜能是必要的。另外,A指标可通过调整科学影响的其他评价指标如H指数的权重，来克服内在固有的局限性。他们也希望在未来进一步研究这些问题。

 

相关专题：论文与评价
转载本文请联系原作者获取授权，同时请注明本文来自诸平科学网博客。
链接地址：https://blog.sciencenet.cn/blog-212210-699671.html

上一篇：中国梦之一：亚洲高等教育强国指日可待
下一篇：集光太阳能电池转换效率创新高