随想图情分享 http://blog.sciencenet.cn/u/周春雷 博以知不足,在灌水中聆听生命的嬉戏

博文

h指数的潜在缺陷——h指数精确注水问题研究

已有 6854 次阅读 2009-2-24 11:51 |个人分类:h指数|系统分类:观点评述| h指数增长关键点, h指数精确注水, 拦河建坝

h指数的潜在缺陷——h指数精确注水问题研究

周春雷

(本文发表于图书情报工作 2008.8)

[摘要]  Hirsch等人定义的h指数计算方法决定了h指数增长关键点的存在,隐藏着一个可以被精确注水的重大缺陷,作弊者可通过对关键点施加引用的办法,即对引文数据流拦河建坝来达到快速提升其h指数的目的。针对这一缺陷分析了其成因并指出其对引文数据价值和科学评价等的潜在危害;通过正常引文数据图和注水引文数据图的对比给出了识别办法;最后提出了一些预防建议。

[关键词]  h指数 h指数增长关键点 h指数精确注水 拦河建坝

    科研人员的学术成就评价一直是一个棘手的问题,盛行的重论文数量轻论文质量的学术评价体系一直备受诟病。期刊影响因子虽然可以在一定程度上用论文发表载体的影响力来为论文质量背书,但仍不能准确表征论文的质量。在理想情况下,论文被引情况可以看作学界同行对文献内容价值的客观评价。加利福尼亚大学圣地亚哥分校统计物理学家赫希(Jorge. E. Hirsch教授2005年发明的h指数就是一种利用论文被引情况来进行学术成就评价的新理论。其核心思想是:一个人的h指数是指他至多有h篇论文分别被引用了至少h次[1]。赫希期望通过测定一个人的H指数,来判断他的论文影响力,并进而反映一个人的学术成就。该理论一经提出即在国际上引起很大反响,被普遍认为可以在一定程度上弥补传统文献计量指标在人物成就评价上的缺陷。本文指出h指数存在可以被人巧妙而隐蔽地精确操纵的重大缺陷,

对造成这一缺陷的成因进行了深入分析,并给出了 h指数精确注水的办法和弥补这一缺陷的具体建议。

1 h指数计算方法

h指数是由Hirsch提出的旨在评价个人成就的一种指标,用引文数来测度。Hirsch定义的h指数为:当且仅当一个科学家有h篇引文数至少为h的论文,同时剩余论文的引文数都小于h时,该科学家的成就分值为h最初的H指数是基于SCI的,其测定非常容易:在SCI网站,查出某个人发表的所有SCI论文,让其按被引次数从高到低排列,往下核对,直到某篇论文的序号大于该论文被引次数,那个序号减去1就是h指数。[1]

Hirsch认为h指数衡量的是一个人的全部学术成果能否经受长时间的考验,它的一个优势是很难通过自引来拔高,然而笔者对此的看法却并不乐观。笔者认为h指数的增长是完全可以被精确而隐蔽地操纵的。

笔者采用自己以前撰文介绍过的快速套取题录的方法[2],以南京大学版20种图情领域核心期刊为检索来源刊物,从CNKI套取题录信息。然后从中抽取第一作者信息,统计出图情领域近三十年来第一作者人数为30274,其中发文量在5及以上的为3911人。在对这些作者进行h指数统计研究的过程中,笔者发现了一个颇为隐蔽的与h指数相伴而生的缺陷——h指数精确注水问题。

 

2 h指数精确注水问题

笔者在对图情领域核心作者进行h指数实证研究的过程中,发现按照h指数定义一些很有实力的作者的h值应该取较低的值,但是其h值以下的引文数据与h值颇为接近,有时甚至1次新加的引用即可改变作者的h值。这样的情况无疑是令人遗憾的,但这也暴露出h指数的设计存在一个很隐蔽的缺陷,即h指数的增长存在关键点。

按照h指数思想利用引文数据库提供的降序列表进行的h指数统计仅能看到单纯的h指数数字,无法看到同一作者所发表的全部文献的被引用情况,自然无法预见其H指数增长潜力。通过统计全部文献的被引用情况,可以发现h指数增长的关键点。比如,某作者被引9次以上的文献是9篇,第9篇的被引次数是9,第1011篇的被引次数也是9,按照H指数的定义,其H指数只能是9。但是,如果该作者的第9篇和第10篇的被引次数各增长1,其H指数即可变为10,其总被引次数仅需增长2次;如果第91011篇的被引次数分别增长2,其H指数即可变为11,而从宏观上看,该作者的总被引次数仅需增长6次。所以,h指数增长的关键点是指被引数量微不足道的增长即可显著改变h指数的文献。这些文献一般位于被引数量降序排列的h值附近,通过增加对它们的引用即可达到h指数快速增长的目的。由于h指数增长关键点的存在,作弊者通过自己或他人对处于关键点的文献施加次数很少的引用即可隐蔽地提升自己的h值。由于很难区分施引文者的引文动机,所以这种作弊行为将与正常的引文行为毫无区别。笔者将这种隐蔽地对h指数增长关键点施加影响以达到快速提升h指数目的的作弊行为称为h指数精确注水。

 

1 三名作者的被引信息及对其进行h指数精确注水需要的最小代价

序号

A1(h6)

需注水值

A2(h4)

需注水值

A3(h2)

需注水值

1

26

 

17

 

7

 

2

17

 

8

 

6

 

3

15

 

7

 

2

1

4

12

 

5

 

2

4

5

8

 

4

1

2

9

6

7

 

4

5

1

17

7

6

1

3

12

1

28

8

4

7

3

22

1

 

9

3

17

3

35

1

 

10

1

31

2

 

1

 

11

1

47

2

 

1

 

总被引

100

 

58

 

25

 

 

1为三名作者所发文献被引数降序列表,根据h指数的定义,作者A1A2A3h值分别642,其中作者A1A2h值以下的被引数均与其h值极为接近。表1同时给出了对三位作者引文数据实施精确注水,将其h值提升5级所需的最小引文数。如果作者A1的第7篇文章被引数增加1,其h值即可提升为7;如果第678篇文章的被引数分别增加124次,共增加7次,其h值即可提升为8。同样,对于作者A2,其h值由4提升为56需要的最小量分别为15;对于作者A3,其h值由2提升为34需要的最小量分别为14。换言之,单纯从数量关系上看,h指数的增长存在关键点——被引量排序在h值附近论文被引量的增长,如果新增被引被优先施加于这些论文,则作者h指数增长所需的被引量将得到极大优化。

 

3 h指数精确注水的潜在动机和危害

笔者对南京大学版20种图情核心期刊近三十年来的高频第一作者进行了汇总统计。统计结果显示,30274名第一作者累计发文近9万篇(5632篇未署名文章的作者被合并为一个发文5632次的无名作者),其中发文量在5以上的第一作者共有3911人。 h指数在5及以上的共有187人,仅占全部图情领域第一作者总数的0.62%,占发文量5以上作者总数的4.78%。从职称上看,这些高h指数作者绝大多数具有高级职称。因此,笔者认为可以把h指数为5及以上的图情学者视为本领域有影响力的专家。

根据Hirsch统计,美国研究型大学的物理学家要获得永久教职(副教授),H指数一般为10到12;如能晋升为正教授,则H指数约为18;成为美国物理学会会员的H指数一般在15到20;成为美国科学院院士一般在45或更高。[1]

随着人们对h指数评价功能的推崇,难保不会有将h指数用于职称评审等充满利益诱惑的场合的那一天。随着h指数的高低与评价的级别直接联系,完全可以预见各种隐蔽地对h指数进行精确注水行为的大范围发生。

大体说来,h指数精确注水问题的危害主要有以下几点:

引用的功利性将得到强化。正常情况下的引用能够反映学术源流关系,可以引导学者理清学术的来龙去脉。但自从人们企图从引文数据中挖掘出成就评价信息时,针对引文数据的作弊就开始了。由于过去一般用总被引来衡量学者的影响力,因此各篇文章的被引数据的地位是平等的,此时的虚假引用只需施加到特定作者身上即可,而不需要精确施加到特定的文章。换言之,在h指精确注水问题被提出以前,引用落在作者所发表的哪一篇文献具有很大的随机性,一旦将h指数的大小与评价挂钩,作弊者的引用行为将有明确的针对性,h指数精确注水办法无疑将因其快速有效而被作弊者采纳。

扰乱引文衰减周期,制造更有欺骗性的学术垃圾。一般来说,文献的价值总是随着时间的流逝而降低,其引文数据具有或长或短的衰减周期,多数文献在经过足够长时间后甚至不再被人引用。但如果有人想强行提高其h指数,就可能对这些本来不会再被引用的文献施加不少于特定数量的引用,这样的虚假引用如果大量泛滥,不仅会对各种引文分析计量工具制造更大的困难,而且将以其极强欺骗性误导学者们的研究。

作弊行为将更加隐蔽。作者自引无疑是代价最小的提升特定文献被引数量的行为,那些自引频率高的人无疑可以快速提升其h指数。即使评价者可以用排除自引来抵消这种投机行为,却难以识别和阻止各种各样被迫或主动示好的虚假引用以及互相捧场、串通作弊的交易性质的“友情引用”。加之国内学者的h指数普遍偏低,作弊需要的关键引文数量也很小,这样的作弊将更难被发现。

大大降低引文数据的学术价值。根据文献老化规律,有的文献在一定时间后其价值将极大减少,因此相应的被引量将停止增长,如果为了拔高作者的h指数而故意增加对这些文献的引用将扭曲文献之间正常的联系,甚至导致引文数据完全失去其反映学术源流的应有价值,各种引文库将变成毫无价值的垃圾堆。

尽管现在尚未发现有人开始有意识地利用这一h指数与生俱来的缺陷进行作弊,但这个现象是客观存在的。如果对这一缺陷不未雨绸缪,完全可以预见这种隐蔽作弊的现象将随着h指数评价被运用于更广泛的领域而泛滥。

4 h指数精确注水的识别

在使用传统的总被引指标评价作者学术影响力的时候,各文章被引数据的地位是平等的,但在使用h指数进行评价的情况下,这种局面将有微妙的变化。高被引端的新增被引对h指数的增长将不再有贡献,低被引端的新增被引由于数量太小而短期难以超越h值,而h值附近文献的被引数据将对h值的增长起到显著影响。

根据笔者的统计,正常的作者发文量-被引量关系图呈高被引端陡峭,低被引端平滑的现象。由于文章被引数量总是从1和2开始累积的,发文量特别高的作者往往有大量被引量为1和2的文章,其发文量-被引量关系图中往往有在水平方向较长的高度为为2和1台阶,随着作者发文量的增多,高度为1的台阶在水平方向上变长。下图为发文量不同的两名作者的发文-被引量关系图,其中水平台阶较长作者的发文量较大。

2展示了对作者A1h指数实施精确注水的效果。曲线“h指数注水1是指将h指数提升1,曲线“h指数注水2是指将h指数提升2。从图2可以看出,正常的被引曲线比较平滑而流畅,而被充分注水的被引曲线因局部变得平坦而呈台阶状,局部的陡峭状况被加剧。这种状况与人们在自然界里拦河建坝颇为相似,二者的目的都是充分利用资源,把资源引导到急需的地方。一般来说,作者所发表文献的被引数量的增长总是不均衡的,有的文献被引数量多而有的少,各文献被引数据从高到低的变化与自然界里河流由高到低的流动颇为类似。欲实施h指数精确注水的作弊者正是想通过在特定位置拦截引文数据这条流动的河流,使其注入特定地段为抬升自己的h指数服务。这种现象与人们在自然界拦截河流,建设大坝,蓄积河水抬升河面何其相似!从图2我们可以看出,经过充分注水的h指数曲线段变得平坦,但其与下游引文数据流的落差变得更大了。

值得指出的是,随着h指数的增加,注水所需要的引文数也呈指数增长,因此,在一定程度上来说,h指数精确注水的效果也是有限的。随着作弊规模的增大,图2中的水平线将越来越长,作弊行为暴露的几率也在增大。

5 对策与建议

   针对本文提出的h指数精确注水问题,笔者认为文献作者、期刊编辑、引文数据库、评价机构、社会大众都要行动起来,此问题才能不令人遗憾地成为现实。具体来说,笔者有如下对策和建议:

在使用h指数进行人才评价时不要迷信具体数字。h指数精确注水问题固然揭示了主动作弊情况下h指数能快速提升的事实,但谁又能证明这样的引用情形在自然状态下不会发生呢?谁又能证明一个仅需要5个新增引用h指数就会由6变成8的作者的成就就小于需要8个引用h指数才能由7变成8的作者呢?

规范引用,强化作者自律,提高学术生产的责任感。学术界要重视参考文献的撰写,规范引用,为引文数据库提供真实的能够切实反映文献生产源流关系的引文信息。此外,一篇文献的参考文献是否也应该有个数量上限?如果每篇文章都象综述文章那样大量引用,h指数所能反映出的实际情况将在很大程度上被扭曲。

加强引文审查,杜绝虚假引用。广大的期刊编辑应加大对引文的审查力度,及时指出作者的错误引用和虚假引用。

推进已有引文数据库的不断完善,提高其在参考文献审查中的地位。现有的引文数据库还存在着各种各样的问题,其引文数据的准确性也有待于提高。引文数据库应该建立奖励机制,调动广大使用者纠正的积极性,从而加快自身完善的步伐。引文数据库也要发挥资源中心的作用,供各期刊编辑审查参考文献准确性之用。只有实现了这样的良性互动,引文数据的准确性才能从根本上得到保证。

提高引文数据进入h指数计算的门槛。不是所有情况下的引用都应该被记入作者相关文献被引数据的。由于在低档次刊物上对引文数据作弊相对要容易很多,是否应该对来源文献设置一定的门槛以提高作弊的难度呢?

不将h指数用于对低h指数作者的评价。对于任何一个研究领域来说,低h指数作者与相比高h指数作者数量总是要大得多,因此对低h指数作者实施h指数精确注水比对高h指数作者实施更少为人所关注,加之其难度也要小很多,因此更加隐蔽和有效。此外,h指数对于具有相同h值的大量低h指数作者的区分度也很低,因此不将h指数用于低h指数作者的评价将不失为一种避免本文提出的h指数缺陷的良策。

依靠学界打假力量对作弊者进行曝光和严肃处理。笔者认为,作者的引文数据图中是否有拦河建坝现象可以较好地指示是否发生了h指数精确注水行为,这可以成为学界打假力量识别作弊的参考。对于涉嫌作弊者要及时予以揭露,以维护学术研究的真实和美好。

 

参考文献:

1 J. E. Hirsch.衡量科学家个人成就的一个量化指标.科学观察,2006(1):02-07.

2周春雷,王伟军,成江东.CNKI输出文件在文献计量中的应用.图书情报工作,2007(7):124-126.

 


 



https://blog.sciencenet.cn/blog-60286-216835.html

上一篇:开博感想
下一篇:国际图情界高影响力作者
收藏 IP: .*| 热度|

0

发表评论 评论 (5 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-27 11:31

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部