林墨分享 http://blog.sciencenet.cn/u/ZJUlijiang 分享以科学家为对象的研究论文

博文

停止在学术评估中使用h指数 精选

已有 23322 次阅读 2021-6-13 08:52 |系统分类:科研笔记

说明:本博客与微信公众号“林墨”同步更新,所有内容均为原创,可授权转载请扫码关注“林墨”公众号。

50686f7cb45f3a41feca58cccddccb50.jpg

注:停止使用 h 指数后,评价科研人员的方案

图片来源于https://leidenmadtrics.nl/articles/halt-the-h-index,侵删

2005年,美国加利福尼亚大学圣地亚哥分校的物理学家Hirsch, Jorge E.提出h指数,用于评估科研人员的发文与被引水平[1]。该指标与是否获得诺贝尔奖、是否获得顶尖大学的教职、是否晋升等相关[2],因此,常常被用于学术评估。不过,自问世以来,有关它的各种争议也从未平息。

在2021年5月19日,荷兰莱顿大学三位科学计量学者Sarah de Rijcke、Ludo Waltman与Thed van Leeuwen 撰文详细分析了h指数的缺陷,并呼吁停止在学术评估中使用h指数[3]。


h指数的不稳定性


早在2012年,Ludo Waltman通过理论上的分析,发现h-index存在着严重的不稳定性,并不能准确反应出科学家水平和科学贡献[4]。例如,科学家 X 和 Y 的发文的被引次数如下:

X:5,5,5,5,5,2,2

Y:6,6,6,6,3,3,3

在这种情况下,科学家 X 和 Y 的 h指数分别是5和4,前者的学术影响力高于后者。然后科学家 X和 Y 合作发表了两篇论文,被引次数均为8,结果如下:

X:8,8,5,5,5,5,5,2,2

Y:8,8,6,6,6,6,3,3,3

在这种情况下,科学家 X 和 Y 的 h 指数分别变成5和6,后者的影响力反超了。这种反超是由 h 指数计算过程的不稳定性导致的。


h指数不能比较处于不同职业阶段的科研人员


h指数只会随着时间的推移而增加。这种时间依赖性意味着 h 指数有利于更资深的研究人员而不是年轻学者。由于 h 指数没有考虑学术年龄,学术年龄较短的研究人员自然表现更差。因此,h指数无法对处于不同职业阶段的科研人员进行公平比较。

科学计量学家Lutz Bornmann也支持在学术评估中停止使用 h 指数,但他认为,最重要的理由是h指数的不稳定性,而不是其他。因为,h指数对资深科学家的优势已被h指数的提出者Jorge Hirsch在2005年回应过,即h指数在计算时是除以自发表第一篇论文以来的年数。同时他认为h指数在透明度和灵活度表现得并不差,可以很容易地与开放数据一起使用。


h指数不能用于跨领域比较


h指数没有考虑领域之间甚至领域内发表和引用实践的差异。举例来说,发表和引用密度低的领域,如古生物学的研究人员的h指数为3,而发表和引用密度高的领域,如经济学的研究人员的h指数为45。两位研究人员的h指数差异并不能反映二者科研能力的差异。相反,它只是由两位研究人员活跃的领域之间发表和引用实践的差异造成的。


在学术评价中使用h指数可能带来的问题


第一,加剧了不公平的比较。如在不同领域内,h 指数有利于来自具有更高发表和引用密度的领域的研究人员。在同一领域内,h 指数有利于活跃时间较长的研究人员。

第二,导致“唯指标论”盛行。这意味着研究人员只要尽可能多的发表成果,就能提升h指数。这非常容易会导致不良的作者行为,如出现成果注水、过量自引、要求同事引用等。

第三,忽略了除论文发表之外的学术贡献。过分强调论文产出,h指数将科学家的研究水平桎梏成单一标准。对其他有利于学术活动和团队发展的所需能力视而不见,如领导力、协作能力、教学能力、临床技能等。一个健康的研究体系需要不同类型的人才,这意味着对研究人员的评估需要公正地反映学术活动的多样性,而不仅仅是基于发文和被引两个维度。


在学术评价中停止使用h指数后,该怎么评价科研人员?


具体方案如上图所示:

首先,在针对科研人员的学术评估中,采用同行评议

其次,可以在同行评议的基础上,采用定量指标,但这些指标必须具有透明度和灵活度。透明度意味着指标的计算被清楚地记录在案,并且指标所依据的数据可以公开访问。从这个角度来看,『暗箱』指标不得使用。灵活度则是意味着指标的使用需要根据科研人员的工作类型、所属学科等具体情况而定。也就是说,不存在『放之四海评价而皆准』的指标。

最后,重视被评价者的自述材料。个人陈述需要成为评估的重要组成部分,例如,在晋升或申请资助的时,申请人可以提交突出已有成就及未来计划的相关材料。

总之,对于科研人员的评价,应该交给同行评议,同行评议的过程中可以辅以定量指标,这些指标应该覆盖科研人员跟学术相关的各种能力。



屏幕快照 2020-03-12 下午1.25.33.png

[1] Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proceedings of the National academy of Sciences, 102(46), 16569-16572.

[2] Bornmann, Lutz; Daniel, Hans-Dieter (July 2007). "What do we know about the h-index?". Journal of the American Society for Information Science and Technology, 58(9): 1381–1385. 

[3] de Rijcke, S., Waltman, L., van Leeuwen, T. Halt the h-index. https://leidenmadtrics.nl/articles/halt-the-h-index

[4] Waltman, L., & Van Eck, N. J. (2012). The inconsistency of the h‐index. Journal of the American Society for Information Science and Technology, 63(2), 406-415.

















屏幕快照 2021-06-01 下午3.18.11.png






















http://blog.sciencenet.cn/blog-1792012-1290952.html

上一篇:到底什么是“理论贡献”?
下一篇:h 指数的发明人承认h 指数可能导致严重后果

20 武夷山 陈新平 许培扬 彭真明 黄永义 蔡宁 傅平 张士宏 谭平连 曾杰 杨正瓴 钟定胜 李可 李毅伟 徐长庆 吴国林 高友鹤 何金华 高建国 王志威

该博文允许注册用户评论 请点击登录 评论 (16 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-9-18 17:53

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部