里瑟琦智库分享 http://blog.sciencenet.cn/u/idmresearch

博文

【域外动态】改善学术成果评价体系需要建立自引指数

已有 2227 次阅读 2017-10-13 16:27 |系统分类:科研笔记


众多研究者中,谁最有可能开创学术大突破的新时期?这个问题对于大学、拨款机构和处于经费紧张的压力之下的科学家们来说至关重要。现今,引用量是评价学术成绩以及影响力最重要指标,通常这一指标也有一定的说服力。与此同时,也有人在通过过度的自引来保持自己在学术界的地位,这种情况也受到了关注。在文章中大量进行自引既不费力也不会受到责难,却可以带来学术影响力巨大和学术地位很高的假象,而这两者也恰恰是在学术界有所成就的重要评价标准。在网络引用分析工具(如Web of Science、Google Scholar、Scopus 和Altmetric)蓬勃发展的今天,这种行为可以有效的美化学者的学术表现。本文认为,如果这种行为不加以规范,将会阻碍新成果的发现以致最终阻碍学术的发展。因此,我们需要建立透明的评价标准来遏止这种自我美化行为。

1.    引言

数字技术广泛应用于学术发表促进了学术研讨的快速发展。现今的学术体系中,成果评价不再依靠定性评价,数据越来越有话语权。年轻的学者们在这样的体系下,努力科研写出了大量的论文。同样的,科学家相互竞争,争夺紧张的科研经费以及学术界内的少量席位。因为他们都知道,学术影响力是他们在这一场竞赛中获胜的重要筹码。

因此,以被引量为基础的学术影响力定量评价标准的重要性就显而易见了。其中一个关键的因子是h指数。该指数由乔治·赫希在2005年提出之后,即被学术界视为金科玉律,引用量对于研究人员来说变得至关重要。这个指标现在已被广泛应用于高校人员聘任中,招聘人员通常要求应聘者提供相关数据,一些高校也据此来支付薪资。网路工具的盛行也使得这些数据可以更方便被挖掘使用。

这一评价方式的优点在于统一了对同一领域之内研究人员的评价标准。通过客观的评价指标,如h指数,我们期望创造出一个公平的平台以评估每个学科的研究人员的科研质量。这反过来又使得对个人、研究小组和部门工作的评估更加公平、不失偏颇,从而减少聘任决策和资源分配方面的偏袒和裙带关系。然而,滥用自引会对今后的研究方向产生难以预期的影响。为了防止此种情况,需要更加透明、可辩明和负责的引用数据。

2.    文献计量学与同行判断

在现代科学中,呼吁通过数据的来帮助人们进行决策已经非常普遍。这不仅因为数字的精确性,还因为这样的评估结果更为公正。正如西奥多·波特指出:“依靠数据做出的决策…至少是公平和客观的”然而,仅仅依赖数据进行学术评估也是存在缺陷的。

首先,对于招聘方和资助机构而言,仅靠量化手段难以做出全方位评价。例如像是否可靠、敬业,对同事是否公平、是否关心学生和同事,是否有项目管理能力、独创性、好奇心、独立性等等,这样一些指标都不容易客观地衡量和量化,显然目前的文献计量方法中也并未将这些指标纳入考察范围。更重要的是,过分强调被引量可能带动研究工作朝着最安全的方向发展,即那些保证能更直接地获得影响力和被引量的方向。这可能会过度将精力和资金用于最新、最流行的研究领域,同时也使其他重要领域资金不足。因此,在这样一个谁的研究更快被引用就可以获得奖励的体系里,遵循更有风险性或非常规研究途径的研究者会越来越少。

鉴于这些缺陷,目前对定量评估的过分痴迷是不正确的。然而,如果正确对待这些措施,并通过不断发展和审查,仍然可以达到它们的目的。尤其要注意的是, 在应用客观评价方式时,会导致对科学影响和生产率评估产生扭曲,这也是至关重要的。在本文中,我们简要分析了过度自引是否会改变h指数的可靠性,并呼吁提高引用透明度。这不是一个长期的解决方案,而是一种能够使跨学科研究人员能在自己的领域更好地理解、定义和引用的正确做法。

3.    过度自引的危害

当学术著作被用于后续的研究时,是允许自引的。然而,许多人认为这是一种道德滑坡,是一种自我满足和自我推销。当前科学管理下的雇佣、升职以及拨款都依赖大量的文献计量,过度自引由此而生。诚然,正如一些评论者最近写到的那样,现在科学家们花了很多时间,上传“学术自拍”并希望很快就能收到“点赞”(引用)。由此产生的结果就是虚伪和不自然,丢失了研究的本质。此外,在“发表或者灭亡”的压力下,一些研究者会战略性地发表一系列的短文,以扩充自引数量,而不是增加每篇文章的学术价值。

当然,研究人员通常都有这样的自觉,即不必要的自引是一个坏习惯。然而,目前尚不清楚自引在哪种情况下是有违道德且应该受到道义上的制裁的。首先,所有的人都可以自引。这就意味着,在文章中加入不必要的自引,尽管有些不光彩,但本身并非是不公平的。因为别人也可以自引,所以这不会产生不公平。然而,人们仍然可以争辩说,因为在一个领域中水平更高的研究人员有更多论文可以自引,他们相较于年轻的同事更有优势。从中可以得出,引文数可以依据学术年龄进行调整,但至少就个别机构而言,过多自引的做法不一定是不道德的,。

质疑科学家的诚信似乎是言过其实了。因此,我们最好承认在大多数情况下,进行自引的研究人员是道德清白的。然而,正如我们所认为的,滥用自引在某种意义上是可悲的,会产生不良影响。最终,过度自引会引起虚假的职业提升,也会推动纳税人的资金和私人投资脱离真正有价值的研究道路,这将破坏对科学生产力的评估。

最令人关注的是,过度自引会改变论文引用的整体模式,从而对职业轨迹产生相当大的影响。例如,据有关报告显示,每次自引在五年的时间里的收益,相当于三个他引的收益。这一点,加上多年来自我升压的跨论文引用 (特别是那些不太受欢迎的文章),导致研究人员的形象有很大的差异。

对女性来说,过度自引特别令人不安,因为根据对1779至2011年间150万项研究的分析,男性援引自己的论文量平均超过 56%。这项研究认为,尽管女性研究者的数量在过去二十年间有了大量增长,但是基于数字学术图书馆JSTOR中的各学科的文章研究,男性自引率高达70%,远高于女性。从该项研究发现,过度自引只能加剧已经存在的性别不平衡,影响女性科学家在科学领域的知名度和信任度。由此看来,自引会损害诸如 h 指数等定量指标的公平理想。

4.    呼吁自引数据透明

4.1  当前数据报告的局限性

我们应当采取行动,确保过度的自引不会妨碍承认和奖励优秀的科学研究。为此,引文追踪数据库Web of Science和 Scopus 数据库,不将自引纳入学术成果报告中。通过剔除自引数来阻止有意增加引文量的行为不是一蹴而就的,但是,它会引起多米诺效应。另有更为粗暴的策略,如处罚,也是有人持赞成的态度,但实际上这可能会引发学术上不合理的自我审查。此外, 审查者会对关于不良行为的标准产生无休止的争吵,并会认为可能被处罚的自引只是出于协调性、持续性的和生产性的研究目的而产生的结果。处罚要么是技术不过关,要么是力度过大,没有考虑到每个领域在自引方面都有其适当的标准。简单地说,试图排除或处罚自引充其量是为我们衡量学术生产率和影响力提供了适度的改进,但最终不会促进良好的引用习惯。

4.2  自引指数

我们认为额外量度应该是基于透明度而不是自上而下的标准和制裁。例如,自引指数 (此处称为s指数) 与 h 指数计算方法相似,提供科学家在其职业生涯中获得的被引量总数中自引的比例以及具体信息。我们希望通过分享这些信息,来提高人们对自引的认识,并能对我们现有的引用行为和问题有更为仔细的关注。从长远来看,每个领域都将自动选择其认为是可接受的自引使用标准。

这样我们就可以持续受益于客观评价,纠正现有指标的一些局限性。更重要的是,避免通过固定的标准直接制裁个人行为。相反,s指数意在通过透明度带来变革,通过定量方法显示出作者进行了多少自引,例如:建立能够通过在同行中的认知度进行自我完善的指数。

建立自引指数和报告个人职业生涯以及论文中的自引数量,应有助于抑制过度的自引,更不用说帮助发现高质量的研究。记录自引可以说能够最简单和最有力地帮助解决职业驱动和战略性的自我推销。这些工具已经出现,并有以下几点简单的调整:

s-指数:科学家的自引指数s等于其发表的论文总数“s”,论文中至少有相同的 s 自引数量。

4.3  执行案例

图1显示了报告自引行为的一种可能。简言之,图中数据来自同一研究领域的四位生物医学研究人员,这四位研究人员都引用了刊登在PubMed上的文章,这些文章是保存在国立卫生研究院的国立医学图书馆的全文档案之中。每份出版物的引文数量都是根据所涉研究人员是否包括在引用的论文的作者名单中来进行分类和计算的。我们以这种方式定义自引,仅反映他们直接参与决定引用列表中引用数量,以便研究人员获得的s指数分数。除了专注于个人作者的引文行为,你也可以通过计算引用名单中的作者的自引数来考察文章中的累计自我推销情况。

Publications 05 00020 g001 550

图1:四位生物医学研究人员引用分布

图1 显示了引用报告中的透明度。文中的自引数据 (红色)基于四位生物医学研究人员在PubMed上发表的论文。第一行显示的是文章中每个人在一段时间中的自引情况。每个红色的条形图代表有一定程度自引的文章。请注意,此处的清晰度的界限值为20引文的界限。这种条形图能够显示出每个研究员如何在其发表的论文中分配自引。下一行显示了自引在总引文中的比例。

显然,四科学家之间的自引行为存在差异。例如,样本2和样本3中的研究人员在其职业生涯中处于类似的阶段,发文量近似,然而以样本3为代表的科学家的自引量多达267次,在所有发表的文章中自引情况更加平均。这使得样本3中的h指数以一个戏剧性地方式大于样本2中的指数。有趣的是,调整 h 指数,除去自引,把样本2和样本3放在更平等的基础上,样本3仍会有更多他引,也许部分是由于所谓的自引多米诺效应。

要充分理解自引的差异,就需要我们首先对这些基本数据进行自引计数。主要是引文跟踪工具制造商必须认识到,追求透明度是一个正确的行动方向。我们展示图1的数据,是为了鼓励跟踪工具的开发人员报告自引数据,以及激发对跨数据库更大的数据集的更正式的研究。目前的障碍是自引信息无法自由获取,这将阻碍大范围的研究。Open Citations (https://i4oc.org)的建立是为了学者能够自由获取引用数据。随着研究深入,对自引行为有更多了解后,对什么是可以接受的自引以及什么是过度自引的讨论将会加强。

5.    结论

基于h指数的s指数将增加h 指数的效用,因为通过s指数,我们可以从不同的角度,或者说从更真实的视角去看引文计数。在他人监督的情况下,研究人员不太可能会公然提高自己的科研表现。相反,我们希望通过数据来鼓励作者、审阅者和编辑给予引文过程更多的关注,并且最终加强今后论文的信息质量。同样,资助机构和学术机构根据新的自引数据,特别是由于优秀的研究变得更容易脱颖而出,可以改进评价程序。

引用非常重要,因为它可以在今天这个密集复杂的出版世界里,将思想、技术和进步联系在一起。然而,年轻的研究人员却没有接受正式的培训,不知道如何正确地选择论文的引用,他们也不探索引用的道德性。

如果这种情况不加以改变,尤其是面临出版物爆炸式增长的情况下,我们就有可能减少科学通信的连接性和实用性。

过度的自引可能会戏剧性地改变科学发展的速度和方向。结果经常是研究人员而非研究得到发展。长此以往,盛行的学术出版游戏会有明显的优势,没有人能够忍受长期坐冷板凳。运行规模宏大的实验室,并且拥有许多博士后的项目负责人可以以惊人的速度发表论文,而年轻有抱负却只有置锥之地的研究者将难以赶上。通过这种方式,战略性的自引将直接影响到思想的变化,迫使处在研究早期的研究人员选择 "更安全" 的项目,而不是那些具有巨大收益的潜力项目,并为此争夺宝贵研究资金。在我们重新考虑评判和奖励业绩的标准之前,许多学者在考虑项目时,仍然倾向于接受过度自引和"安全"性考虑。这可能适得其反, 阻碍真正的突破性进展的传播。

毫无疑问,作者和评论家在确保引文质量方面起着关键性作用,但从文献计量学视角,本文描述的是一个可预见的未来。因此,一个基于度量的解决方案是必不可少的。s指数将有助于遏制过度自引,为公正客观地评估科学影响和生产力做出重要的贡献。

本文发表于 MDPI AG,刊号: EISSN 2304-6775

原文链接:http://www.mdpi.com/2304-6775/5/3/20/htm

作者:JustinW. Flatt,苏黎世大学分子生命科学院,Alessandro Blasimme、 Effy Vayena,苏黎世大学流行病学、生物统计学和预防研究所。

编译:蒋润园,里瑟琦智库研究助理。




https://blog.sciencenet.cn/blog-2903646-1080652.html

上一篇:【聚焦“双一流”】以Rapid—D理念解析“双一流”
下一篇:【域外动态】十年树木:快速发展的哈佛工学院
收藏 IP: 124.76.17.*| 热度|

1 许培扬

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-10 13:39

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部