武夷山分享 http://blog.sciencenet.cn/u/Wuyishan 中国科学技术发展战略研究院研究员;南京大学信息管理系博导

博文

若干国家或地区将SCI用作科研绩效评价工具的一些情况(2002)

已有 4849 次阅读 2020-10-14 07:40 |个人分类:科学计量学研究|系统分类:观点评述

(博主按:围绕SCI的争论,在我国已有很多很多很多年了。21世纪初年,我在一次研讨会上做了个报告,介绍了各国或地区将SCI用作科研绩效评价工具的客观情况。曾在国家科委基础研究高技术司担任领导的一位老先生听后问我:你说的这些情况来自什么文献?你有参考文献作为支撑吗?我说:有啊。于是,我将相关文献整理了一遍,交给这位老领导。后来我想,既然大家都关心这个问题,还是写一篇文章吧。于是产生了下面这篇文章。

     我认为,在任何时候,讨论任何问题,都要以客观事实为依据,不要情绪化。这是我的一贯立场。)

 

若干国家或地区将SCI用作科研绩效评价工具的一些情况

中国科技信息研究所 武夷山

(发表于《中国科技期刊研究》2002年第1期)

 

SCI是目前世界上覆盖学科面最全、能够查找引用情况的唯一大型文献数据库(博主今注:现在不是唯一的了,还有Scopus等)。因此,许多学者和科研管理者用它来进行不同层次的科研绩效评价。

 

一、     西方发达国家概况

美国

美国科学情报所(ISI)除了几个索引数据库外,它的“研究服

务组”今年刚刚推出了“ISI基本科学指标数据库”(ISI Essential Science Indicators Database),其性质是关系型数据库,对于文献计量学分析特别合适。它有三大栏目,一是引用量排序,可按个人、机构、国家和期刊来排序;二是高被引论文;三是引文分析,其中包括两部分,各学科论文被引量的世界平均水平(称为“基线”),和引用热点所反映出的“研究前沿”。该数据库每年的售价为3万美元左右,希望基础司支持我所购买此库,它对基础研究的评估和分析非常有帮助。

    ISIScience Watch杂志经常发表各种排序数据,例如根据不同学科每篇论文的被引次数给大学或明星科学家排序。Science杂志不时转载这样的排序,可见对这种方法是认可的。在一篇评述AAAS新主任Colwell的文章中说,她1981年以来平均每年发表18SCI论文,最多的一年发表28篇。美国科学院1999年在《美国免疫学研究的国际对比》报告中,也依赖ISI提供的数据。

 

荷兰

科学计量学研究的重镇――荷兰莱顿大学的科学技术研究中心(Center for Science & Technology Studies)在SCI的基础上,专门建立了为科学计量学分析服务的科技指标数据库,它将世界上所有科研单位的名称、地址都规范化了,也将它们分出了层次。

 

英国

英国是开展定量科研绩效评价最早的国家之一。早在20世纪80年代初,英国苏赛克斯大学科学政策研究所的本.马丁等科学计量学专家就开展了一系列评价研究。例如,作为对基础研究评价的一次尝试,他们对艾萨克.牛顿天文望远镜的投入指标与产出指标同其他一些著名光学望远镜的投入产出指标进行了对比。产出指标中的论文被引情况,用的就是SCI数据。由于英国走在了前面,美国众议院科技委员会于19851030日以“英国的科学评价方法”为主题召开听证会,邀请马丁先生去作证。[1] 直至现在,苏赛克斯大学科学政策研究所仍是科学计量学研究的另一重镇。近年来,他们以SCI为基础建立了自己的面向评价的数据库。

英国政府出面,为全国的153个大学和研究所购买了ISIWeb of Science的使用权。这从一个侧面反映出了英国人对SCI的重视。

加拿大的Cooper H. Landford在《高教机构完成的科研之评估》一文中建议,用SCI的影响因子来开展中观层次(学科)、国家层次和机构层次的科研绩效评估,但机构层次的评估要谨慎。加拿大阿尔伯塔大学采用的“关键绩效指标”体系中的一个指标便是影响因子。[2]

 

各国高教系统的科研评估活动

近年来,不少国家在高教系统开展各种层次的科研评估活动(Research Assessment Exercise)或类似的评估。在国家层面上进行高教系统评估的有英国、法国、荷兰、斯堪的纳维亚诸国、澳大利亚和新西兰。[3]

英国的RAE一般每四、五年搞一次。1992年和1996年分别搞了两次。2001年正在进行第三次。[4] 具体做法是,要求每个大学的活跃科研人员可提供最近4年内发表的、最能反映本人学术水平的4篇论文供评估。不要求每位教师都参加评估,但参加评估者人数占教师总人数的比例越高,这一项的得分就越高。对于担任高级行政管理职务(院长、校长之类,系主任不算)但仍活跃于科研工作的人员,可以提交少于4篇论文。[5] 我专门发电子函件向RAE的有关专家询问他们对SCI的态度,对方答复说,他们并不明确要求报审论文必须发表在SCI源期刊上,也不对期刊进行排序。但由于每人只报4篇,可以肯定,报送的绝大部分论文都发表于SCI源期刊上。关于这一评估活动的效果,研究单位的领导一般持肯定态度,认为对提高科研生产率起了促进作用。据一项调查,只有34%的科研人员认为该活动促使自己改善了科研质量。多数人觉得,除了多花时间应付评估,压力更大之外,该活动对自己没有什么作用。

 芬兰赫尔辛基大学1999年对其心理学系的评估也很倚重SCISSCI数据。评估专家请自瑞典、法国和波兰。  

比利时一些大学用类似的方法进行科研绩效评估。以林堡大学为例,他们用SCI数据评估科学系科,用SSCI评估社会科学系科。所用指标有三大类:论文数;每个人年当量产出的论文数;被引用次数。有些指标要与世界平均水平进行比较。计量分析的结果交给科研人员进行讨论。他们认为,应将科学计量学的分析结果与科研人员自身对其所在学院和研究组的印象进行相互验证。在听取意见的过程中,科研人员提了一些建议和意见,但没有对该评估方法持完全否定态度的。[6]

挪威研究理事会20009月邀请国际性咨询公司Technopolis对其工作进行评估。该咨询公司提出的工作方案中就包括利用SCI数据对挪威科研人员的绩效进行评价的内容。[7]

 

二、周边国家和地区的情况

日本

日本科研人员非常注意在SCI源期刊上发表论文。由于担心自己的英文水平不高,很多日本研究人员花大价钱请英语好的专家给自己修改润色甚至根据原来的内容重写。一篇文章的润色费可能高达500美元。[8] 但是,日本对SCI的热衷程度肯定不如中国。因为有日本人注意到中国的大学排序特别注重SCI论文数,感到很新鲜。[9]

   中国台湾

为了提升自己在世界科学界的影响,台湾当局在20世纪80年代中期制订实施了一些针对研究人员个人的奖励措施,分为普通奖、优秀奖、杰出奖三类。SCI论文数是评奖时的重要指标。获杰出奖者,每月奖励免税的25000台币(合870美元)。自从采取这种措施以来到90年代中后期,台湾SCI论文数增长了7倍。

台湾大学医学院有一套对个人的评估体系,以SCI为基础。每篇论文从三个角度进行评判。1、论文类型(评分范围13分)。分报道原创成果的论文、简讯、病例报告、综述等几种。2、论文发表期刊的影响因子(评分范围:16分);3、作者排序(评分范围:0.55分)。三个评分相乘,为一篇论文的得分。如果是原创性成果,发表在高影响因子刊物上,又是第一作者,则一篇论文可得很高分。累计至少500分才能当教授。聘为教授后,仍被继续评估,三年评一次,三年间未再得500点,警告;再过两年仍不够500,解聘。已有这样的解聘事例。累计500分只是当讲授的必要条件,不是充分条件。

韩国

韩国在1999年制订“21世纪脑业韩国计划”(Brain Korea 21

Initiative)。这项计划为期7年,拟花费11.7亿美元。他们的计划是,从1998年至2005年,理科博士培养人数要从2500人增加到4500人;SCI论文数从10,000篇增加到20,000篇,位次从17位提升到世界第十位;专利申请数从7000件增加到40000件;将每年在学子海外培训上的花费从7亿美元减少到6亿美元。[10] 可能是由于该计划过分重视SCI论文,釜山、汉城的3000名社科、人文学科的教授上街游行抗议。后来,政府对计划做了些许修改。[11] 韩国从90年代后期起也采取了像台大医学院这样的计点提升制,但未采取金钱奖励措施。

香港

香港对大学教师的评估方法学的是英国的做法,即要求每位教师自己提交最能反映自己学术水准的5篇论文(必须是SCI论文),由8个委员会来评议这些论文。最后要看,每个成本中心(比如一个学校,一个系)有多大比例的教师达标。香港所有8所大学的平均达标率是47%。香港大学、香港中文大学、香港科技大学达64%,另外5所大学仅为30%。[9] 香港所有8所大学都购买了SCI光盘版,6所大学购买了SCI网络版。

三、 其他国家

联合国教科文组织1996年在匈牙利召开的世界科学会议期间,中欧国家的代表举行了一个题为“为发展服务的基础科学”研讨会,作为世界科学会议的一个卫星会。与会代表讨论了基础研究产出的测度问题,一致认为,基础研究产出中目前唯一可量化的就是发表物指标。匈牙利科学院图书馆的科学计量学专家布劳温等多年来利用SCI进行的各种评估研究是很好的工作。对ISI的意见是,对中欧国家的期刊收录得太少。[13]

四、     SCI作为评价工具存在的主要问题――科研人员的语言偏好造成非英语论文的质量被低估

由于英语已经是实际上的科学交流国际语言,许多科研人员只阅读英语文献,非英语期刊中学术质量再高的论文也不会进入他们的视野。于是,如果用被引情况来反映论文质量的话,非英语论文的质量就必然被严重低估。

莱顿大学科学计量学专家的实证研究表明,用SCI论文的影响因子数据来评价各国生物医学领域的研究水平,则德国、法国远不如英国和美国,而且低于世界平均水平。但如果仅统计德国和法国科学家在英语刊物上发表的生物医学论文,则两国的影响因子大大上升,都高于世界平均水平。按这些新数据评估,德国与英国的水准就不相上下了。[14] 

尽管存在这一问题,但只要坚持“同类相比”的原则,采用SCI作为科研绩效评价工具之一,应当说还是可行的。

也有人从根本上怀疑SCI作为评价工具的合适性。这种观点认为,作者引用一篇参考文献是为支持自己这篇手稿服务的,而并不一定说明被引文献是高质量文献。[15]

 

参考文献

[1] Science Policy Study—Hearings Volume 13—British Science Evaluation Methods, U. S. Government Printing Office, Washington: 1986

[2] Cooper H. Landford, The Evaluation of Research Done in post Secondary Institutions,  www.cmec.ca/postsec/index.stm

[3] Janet Atkinson-Grosjean et al., The Use of performance Models in Higher Education, Education Policy Analysis Archives, 2000,8(30)

[4] 余晓,英国基础研究活动评价的基本做法,全球科技经济了望,20017

[5] www.rae.ac.uk/asp/guidefaq

[6] 鲁索,评估科研机构的文献计量学和经济计量学指标,见 蒋国华主编,科研评价与指标,红旗出版社,北京,2000

[7]odin.dep.no/kuf/norsk/p795/p10001123/014021-990021/index-dok000-b-f-a.html

[5] Nature, 1997,2,27

[6] www.jaist.ac.jp/~a-yamamo/proposal.html

[7] Science, 1999,6,18

[8] Science, 1999,7,23

[9] Nature, 1997,9,11

[10] Basic Science for Development, Central  European Workshop, Keszthely (Hungary), 18-20 January 1996, www.unesco.org/science/wcs/meetings/eur_keszthely_96.htm

[11] Thed N. van Leeuwen et al., Language biases in the Science Citation Index and its serious consequences for national research evaluation in international comparison: the case of Germany and France, http://sahara.fsw.leidenuniv.nl/cwts/sci_d.html )

[12] Barry Markovitz, What’s wrong with how we judge science?

www.biomedcentral.com/info/markovitz-ed.asp

 

 

 




https://blog.sciencenet.cn/blog-1557-1254291.html

上一篇:对课题组同事谈关于评价模型课题的一些思考
下一篇:罗伯特.温斯顿重逢《巴拿马的裁缝》
收藏 IP: 1.202.113.*| 热度|

18 刘立 许培扬 熊泽泉 刘炜 郑永军 张明武 胡新露 杨正瓴 宁利中 李毅伟 李学宽 蔡宁 谢力 王从彦 曾杰 周忠浩 高建国 xqhuang

该博文允许注册用户评论 请点击登录 评论 (32 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-23 00:04

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部