shugao012的个人博客分享 http://blog.sciencenet.cn/u/shugao012

博文

关于使用SCI论文评价指标的意见 精选

已有 6804 次阅读 2023-1-8 12:13 |个人分类:科研管理|系统分类:科研笔记

(按:这是17年前我的一次发言,挖掘出来的目的是为了做一些反思。在高校管理中,考核与奖励与SCI论文的影响因子挂钩,明明是有内在缺陷的,但多年来这个指标不断被滥用,尤其需要反思。)

 

学校已决定对高影响因子刊物上发表论文的人员进行奖励。我认为,此项奖励若要有利于调动研究者的积极性,有利于培植高水平论文的产出,为此需要明确期刊影响因子的基本性质。

首先,期刊的影响因子不是单由论文质量所决定的。

根据影响因子的定义,它的大小有多种影响因素。在同一个刊物上,一篇论文在发表后的一段时期内比另一篇论文有更多的引用,说明两篇论文受到的关注不同关注程度的不同,有时的确论文质量有关,也可能有统计意义上的论文质量差异但是,除论文质量外,其他因素也能影响到影响因子的大小。在同一研究领域内,不同类型的论文可以有统计意义上的引用次数差异。例如,在某些情况下,一篇综述论文可以比研究论文有更多的引用,因而专门发表综述论文的刊物就可能在这种情况下拥有相对较高的影响因子。在不同的研究领域,由于研究的性质不同一篇论文,从开始工作到论文产出的时间长度很不相同。一篇物理学论文的产出所花费的时间,平均而言会短于一地质学论文。在论文产生后,在平均意义上,物理学论文在发表后一年内被引用的可能性高于地质学论文,因为欲引用某篇地质学论文的论文在一年内很可能尚未发表出来。在此意义上,不同研究领域的SCI刊物的影响因子是不可比的,这是美国ISI影响因子作为SCI刊物入选标准的一个误区。此外,刊物的出版周期和论文篇幅的长短也会影响到影响因子的大小因此,仅仅依据影响因子的大小是无法确定论文质量的

其次,即便按研究领域进行排序,也不一定能够消除不同专业领域之间的不可对比性。

由于影响因子与研究领域有关,因此,一种自然而然的想法就是对不同研究领域的SCI刊物分别按照影响因子大小进行排序在此基础上再进行学科领域间的对比,但是这种方法是否可行仍然与排序的步骤有关。先划分学科,然后取该学科中SCI刊物的前15%,这种做法如何?前已述及,由于ISI误认为影响因子是绝对可比的,因此在选择SCI刊物时采用了绝对影响因子,而不是实施标准化换算、消除研究领域差异之后的影响因子,其结果是某个研究领域较差的刊物被认可,而另一个研究领域较好的刊物则可能落选。因而,前一个领域的入围刊物数量就会多于后个领域。这样如果采用15%的标准,后一个领域达到该层次的刊物数就会较少,这对于后一个领域的科研人员是不利的因此根据绝对影响因子的性质,即便各自采用前15%刊物的方式仍然有问题的。

再次,在同一领域内,不同研究方向的刊物的影响因子也会不同。

由于学科或研究领域发展的阶段不同,或者由于社会关注程度的不同研究的热点是随着时间而变化的。因此,为了保持较高的影响因子,综合类的刊物如Nature可以通过追随热点来达到目的,例如当古生物问题较热的时候,就在这方面多给点篇幅。由于这个原因,这类刊物可以有大致稳定的影响因子,但是许多专门化的SCI刊物却没有这种自由。因此,在一段时期内,其影响因子可以有较大的波动,而且经常会出现排序的不同。在这种情况下,即便前述的两个问题均已解决,仍然可以产生新的问题。在同一领域,不同方向上的研究者不可能随时间变化随时调整他们的研究方向,因此,他们的论文在SCI系列中的排序将出现与论文质量无关的涨落,这可造成不公正评价

最后,仅仅按照影响因子排序和进行奖励,不利于我国自己的SCI刊物的成长。

我国已经有了一些重要的SCI刊物,如科学通报和《中国科学,尽管目前的影响因子不太高,但是只要有足够的稿源,今后将会逐步提高但是,不恰当的管理将会破坏国内SCI刊物成长的基础一个13亿人口的大国,却不能办好自己的SCI刊物,这关乎民族智慧问题很严重,不能等闲视之正确的做法应是鼓励大家往这两个刊物投稿,直至带动国内外学者投稿,同时加强编委会素质建设,多发表高质量的论文,这样才能真正促进我国研究水平的提高,那时影响因子也就上去了

综上所述,单靠影响因子的绝对值不能确定论文的质量仅以影响因子排序将打击国内SCI刊物的发展。建议为了奖励的有效性,应对影响因子进行标准化处理,并且在排序中充分考虑国内代表性SCI刊物的地位,在最终奖励之前应对拟奖励论文进行内涵评价,由于所涉及的论文数量不大,请同行专家进行鉴定应是可行的

 

本文是20051124在南京大学学术委员会扩大会议上的发言材料,本次会议的主题是对高影响因子刊物上发表论文的人员奖励的方案。




https://blog.sciencenet.cn/blog-2336082-1371071.html

上一篇:[转载]佚名短篇小说:报杰青
下一篇:纪念赵其国老师
收藏 IP: 180.109.235.*| 热度|

11 郑永军 俞立平 周忠浩 王涛 李建国 汪凯 胡大伟 李毅伟 武夷山 许培扬 崔宗杰

该博文允许注册用户评论 请点击登录 评论 (9 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-19 21:57

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部