ontheways的个人博客分享 http://blog.sciencenet.cn/u/ontheways

博文

高被引学者:是鹤立鸡群的天才还是因为众人拾柴火焰高?

已有 23461 次阅读 2021-3-19 10:13 |个人分类:期刊评价|系统分类:观点评述

作者:张晓林,中国科学院文献情报中心研究员,JDIS主编


高被引学者似乎已成某种新的桂冠:科睿唯安(Clarivate Analytics)每年的世界高被引学者榜单被广为宣传,爱思唯尔(Elsevier)从 2015 年起还专门开始发布“中国高被引学者”,入选者被誉为“最有影响力”甚至“最有思想”的科学家,各机构积极宣传自己的入选学者,入选人也把它写入自己履历,甚至一个机构有多少“高被引学者”似乎又成了某些“一流”评价中“高端人才”的金指标。


毫无疑问,总体上说,高被引学者的科学产出和科学成就值得充分肯定,不少高被引学者确实在科学理论或方法上做出了重大创新,我们对他们充满敬仰。但是,人们也常常观察到一些“异常”。不说凡没在没被 WoS 或 Scopus 收录期刊上发表的论文通通不算数外,有人指出1,高温超导体的发现、DNA 双螺旋结构的确定、宇宙加速扩展的发现等等获得诺贝尔奖的成果,在被引量上都远进不了史上被引最多 100 篇论文。人们也有事实表明,往往是数据论文、指南论文、工具论文、综述论文等得到更多的引用,例如有研究发现2,平均来说,综述论文得到的引用量超过原始研究论文 3 倍,“高被引论文”中综述论文占比也远超它们的正常发表占比,发表综述论文可大幅度增加作者“被高被引”的机率;另一个几近“恶搞”的例子就是以发表数据为主的期刊“CA: A Cancer Journal for Clinicians”3的影响因子达到 292.278(你没有看错!)。笔者毫不否认数据论文和综述论文等的重要作用,但显然它们多数不是重大科技创新的主要载体。况且,人们“经验地”知道,一篇论文的合作者越多、或者来自多个国家,仅因此就会提高它的被引率。这是否是普遍的现象?如果是,目前这种把一篇论文的被引次数都算在其中一个作者头上的榜单是否能准确反映学者的贡献?如果不能,是否还要简单地把 Highly Citedness 作为 Greatness 的替代指标?


最近,Journal of Data and Information Science4发表了与此相关的一项研究:Aksnes, D.W., & Aagaard, K. (2021). Lone geniuses or one among many? An explorative study of contemporary highly cited researchers. Journal of Data and Information Science, 6(2). https://doi.org/10.2478/jdis-2021-0019


Aksnes 等人对入选 Clarivate Analytics 高被引学者榜单的一批北欧作者的发文情况进行分析后发现,导致这些学者入选高被引学者榜单的那些高被引论文常有大量的合作作者,这些论文实质上代表了合作者共同的贡献。但由于榜单本身计算方法是,无论有多少合作作者,论文被引一次就算作这个作者被引一次,一个作者就独占所有合作作者的贡献(而不像 Nature Index 那样给合作论文的每一个作者一个按比例的小于 1 的贡献分值 Share5)。这似乎说,在不少情况下,这些高被引作者并不是独立的天才,而是因为众人拾柴火焰高?该研究还发现,有些学者的“高被引”主要是因为发表了很多综述论文或临床指南类论文。另外,作者们尝试按合作作者数来计算分数化的引用次数,得到的结果就很不相同了。


当然,这篇论文的抽样有限、且主要限于北欧,因此需要通过对不同地区和不同领域的高被引学者发文情况进行分析来重复验证。不过,笔者的一次亲历呼应了该文:某高校某年度学术论文“篇均引用次数”上,A 学院力压 B、 C 两学院而占得鳌头;但细细一看,A 学院 X 教授的论文 Y 得到超高引用,凭一己之力拉高 A 学院“篇均引用次数”;如果把论文 Y 移出计算,B、C 两学院都轻松跑赢 A 学院;再细看,X 教授的论文 Y 有 10 名作者,通讯作者和第一作者都另有其人,如果按 Share 算只有 0.1。以此计算,X 教授和 A学院的篇均引用次数就会受到明显影响。


再次申明,笔者无意质疑高被引论文或高被引学者的贡献,只想指出,论文引用是个复杂现象,许多因素可带来“高被引”,“魔鬼”常常藏在细节中。另外,“引用”本身对于许多科技贡献或“影响力”并不是合适的公平的评价指标,例如技术发明、政策研究、科学普及、基础设施建设与服务等。


破除计量指标神话、破除“唯 XX”,已成为科技界和公共政策的共识。各种计量指标都有各自具体的有限的目的和内在的瑕疵,正如国际科学理事会最近报告指出6,尽管一些指标的设计初衷很好,但它们很难摆脱“古德哈特定律”7的噩梦,即“当一个指标成为目标时,它就不再是一个好的指标,因为它就可以被、实际上也被操控了”。“指标本无罪,用者犯糊涂(或者装糊涂)”?


国际科技界发布了关于研究评价及其评价指标的 DORA 宣言(Declaration on Research Assessment 8和莱顿宣言(Leiden Manifesto for Research Metrics)9,我国也连续发布《关于深化项目评审、人才评价、机构评估改革的意见》10、《深化新时代教育评价改革总体方案》11、《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》12、《关于规范高等学校 SCI 论文相关指标使用树立正确评价导向的若干意见》13、《关于破除高校哲学社会科学研究评价中“唯论文”不良导向的若干意见》14,似乎已形成高度重视、积极议论、方案迭出的态势。但是,如何尽快落地科学合理的分类多元的评价机制?如何从问题导向角度来表征和验证评价结果?如何让评价机制及其结论本身客观、公正、清晰、可公共验证?如何避免在频发“正确”文件的同时加紧推进本质上还是“唯 XX”的评价活动?这些,都是紧迫、现实、但本该快速应对也本应得到有效应对的挑战。


1 https://www.nature.com/news/the-top-100-papers-1.16224

2 Ruben Miranda, EstherGarcia-Carpintero. Overcitation and overrepresentation of review papers in the most cited papers. Journal of Informetrics, v12(4), Nov.2018. https://doi.org/10.1016/j.joi.2018.08.006

3 https://acsjournals.onlinelibrary.wiley.com/journal/15424863

4 声明:笔者是该刊的联合国际主编之一。

5 https://www.natureindex.com/institution-outputs/generate/All/global/All/score

6 International Science Council. 2021. Opening the record of science: making scholarly publishing work for science in the digital era. Paris, France. International Science Council. DOI: 10.24948/2021.01

7 Goodhart, C. 1981. Problems of monetary management: the U.K. experience. Courakis, A. S. (ed.). Inflation, Depression, and Economic Policy in the West, pp. 111–46.

8 https://sfdora.org/

9 http://www.leidenmanifesto.org/

10 http://www.gov.cn/zhengce/2018-07/03/content_5303251.htm

11 http://www.moe.gov.cn/jyb_xxgk/moe_1777/moe_1778/202010/t20201013_494381.html

12 http://www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.html

13 http://www.moe.gov.cn/srcsite/A16/moe_784/202002/t20200223_423334.html

14 http://www.moe.gov.cn/srcsite/A13/moe_2557/s3103/202012/t20201215_505588.html




https://blog.sciencenet.cn/blog-755333-1277568.html

上一篇:“中国英文科技期刊推介”系列计划
下一篇:“中国科学院文献情报中心—威科集团医学评价与数据智能联合实验室” 签约暨揭牌仪式顺利举行
收藏 IP: 159.226.100.*| 热度|

11 郑永军 许培扬 王安良 徐绍辉 王启云 梁洪泽 杨正瓴 宁利中 彭振华 王兴 李立

该博文允许注册用户评论 请点击登录 评论 (4 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-22 22:15

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部