林墨分享 http://blog.sciencenet.cn/u/ZJUlijiang 分享以科学家为对象的研究论文

博文

是不是该放弃使用h指数评价科学家了? 精选

已有 8473 次阅读 2017-12-6 08:44 |系统分类:科研笔记

说明:本博客与微信公众号“林墨”同步更新,所有内容均为原创,可授权转载请扫码关注“林墨”公众号。


h指数存在缺陷,这些缺陷并不妨碍我们使用h指数评价科学家,但 Ludo 这篇文章指出的缺陷或许让我们思考:我们是不是该寻找新的计量指标了。

高正 / Indiana University & 李江 / 浙江大学


注:图片来源于prattlibrary.cchmc.org

林墨1127日分享了一篇文章《h指数多高才能评上教授》,文章被广泛关注和转载。对,全世界对科学家的评估都可能参考h指数,因为h指数简单易用,在 Google Scholar Web of Science 等平台上可以快速查询学者的h指数。但是,林墨收到反馈,LudoJournal of Informetrics的主编)发表的一篇文章中指出了h指数的严重缺陷,严重到让我们思考我们是不是该寻找替代指标了。

Ludo通过理论上的分析,发现h-index存在着严重的不稳定性,并不能准确反应出科学家水平和科学贡献,这是其一;其二,h-index并没有像其宣称的那样完全独立客观,其本身的计算过程依赖于主观的、经验主义的参数选取。

h-index的参数设定很随意

h-index的计算公式通俗易懂:一名科学家的h-indexh,表明他的h篇文章至少每篇被引用次数为h次,而剩余的文章每篇被引用次数都小于h+1次。

不可否认,h-index的提出避免了科学家科研水平被少数高被引文章左右的问题。然而,它却依然存在着主观参数选取的问题。为什么h-index的定义不是『科学家的h-indexh,表明他的h篇文章至少每篇被引用次数为2*h次,而剩余的文章每篇被引用次数都小于2*h+1次』,或者『h篇文章至少被引用2/h次,而剩余的文章每篇被引用次数都小于(h+1)/2次呢』?目前,并没有完全科学的依据能够说明不同阈值的区别,也没有依据说明当前的参数设定比其他方案更合理。因此,Ludo 认为,h-index的确引入了主观因素。然而,更为可怕的是,目前存在着众多的h-index衍生体都不可避免的存在着相同的问题。

h-index的不稳定性

h-index还存在着极大的不稳定性。优秀的计量指标应该遵循一些原则,Ludo 用三个例子逐一解释了h指数违背了三个原则。

原则一:如果两个科学家在学术表现上的相对进步相同,他们的h-index排序应该不变。

反例:在相同的五年期间,科学家1发表了9篇被引用12次的文章和3篇被引用4次的文章;科学家2发表了7篇被引用15次的文章和3篇被引用5次的文章,那么,科学家1h-index9,而科学家2h-index7。此时,科学家1的排名应该比科学家2的高。然而,如果两名科学家保持与此前相同的论文发表频率,五年后,科学家1将会有18篇被引用12次的文章和6篇被引用4次的文章;科学家2会有14篇被引用15次的文章和6篇被引用5次的文章。这样一来,科学家1h-index变为12,而科学家2h-index变为14。由此可见,虽然两位科学家保持着与此前同样的发表效率,但他们的排名顺序却反转了。

原则二:如果两个科学家在学术表现上的绝对进步相同,他们的h-index排序应该不变。

反例:科学家1发表了5篇被引用5次的文章和2篇被引用2次的文章,科学家2发表了4篇被引用6次的文章和3篇被引用3次的文章。科学家1h-index5而科学家2h-index4。因此,科学家1的排序高于科学家2。假如此后两位科学家共同合作了两篇被引用8次的文章。这时,科学家1h-index仍然为5,而科学家2h-index变成了6。他们的排名顺序同样发生了反转。

原则三:如果科学家1的排名高于科学家2;科学家3的排名高于科学家4,那么科学家1和科学家3的学术组合的排名应该高于科学家2和科学家4的学术组合。

反例:科学家1和科学家3都分别发表了7篇被引用9次的文章;科学家2和科学家4都分别发表了6篇被引用10次的文章。那么个体而言,科学家13h-index7,而科学家24h-index6。但是,科学家13的组合的h-index9,而科学家24的组合的h-index10。由此可见,个体排序和组合排序是相反的。

以上反例显示,h-index的确存在着明显的不稳定性。

h指数的替代方案:高被引论文数量

不同于h-index,高被引文章数量并不存在不稳定性问题。其定义同样通俗易懂:高于给定被引次数阈值的文章数量。可以看出,高被引文章数目能够完美的解决以上的三个反例中的问题。并且,由于每篇文章会被分类为高被引论文和非高被引论文,这个评估指标对每篇文章的具体被引次数并不敏感,从而能避免极少数超高被引论文左右学术评价。同时,和h-index相似的是,高被引论文数量对于大量的低被引论文也不敏感,因此其抗差性也很强。

当然,Ludo 也承认,高被引论文数量也存在主观因素(阈值的设定,被引多少次才算高被引),但能有效解决上述三个反例中提到的问题,因此,高被引论文数量仍然优于h-index

我们认为,定量指标各有所长,也各有所短,指标之间有不同,但很难说一个指标比另一个指标更科学(同理,影响因子及其替代方案之间的关系也是如此)。使用者可以根据偏好选取,但使用每个指标需要深入了解其背后可能存在的问题。


Waltman, L.,& Van Eck, N. J. (2012). Theinconsistency of the hindex. Journal ofthe Associationfor Information Science and Technology, 63(2), 406-415.

Waltman, L.,& Van Eck, N. J. (2009). A taxonomy ofbibliometric performance indicatorsbased on the property of consistency (No.ERS-2009-014-LIS).




http://blog.sciencenet.cn/blog-1792012-1088416.html

上一篇:流水不腐,阻碍科学家自由流动是不对的
下一篇:为什么科学家的研究兴趣老变?
收藏 分享 举报

11 许培扬 武夷山 史晓雷 杨正瓴 王从彦 蔡宁 赵斌 徐长庆 张鹰 黄永义 何金华

该博文允许注册用户评论 请点击登录 评论 (20 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2017-12-17 18:08

Powered by ScienceNet.cn

Copyright © 2007-2017 中国科学报社

返回顶部