(按：早在2001年，我们就对采用文献计量学指标进行绩效评价所出现的问题进行了批评，对可能出现的问题进行了预警。遗憾的是，迄今这方面的问题仍颇为严重。例如，某些高校科研处在量  化评价时是怎么注意“学科差异“的呢？他们说，既然A学科的期刊总量是B学科的N倍，那么，如果要求B学科的教师每年发表M篇论文才算完成任务，则A学科的教师发表NM篇才能算完成任务。这样的逻辑、做法显然都十分荒唐，但这就是现实。）

·分析与评论·

 

 

采用文献计量学指标进行科研绩效量化评价

应注意的几个问题

 

武夷山^l)　　梁立明²⁾

 

 

1)        中国科技信息研究所，100038　北京复兴路15号

2)        河南师范大学，453002　新乡建设路148号　　　　　　　　　　收稿日期：2000-12-07　修回日期：2001-01-15

 

（发表于《中国科技期刊研究》2001年第2期）

 

 

摘　要　　从宏观层次、中观层次和微观层次分析了我国各级科研管理部门在采用文献计量学指标进行科研绩效量化评价时存在的一些典型问题。出现问题的原因是对文献计量学指标的应用范围、内在特点和采集方式的理解有偏差。

关键词　　文献计量学　科研绩效　量化评价

 

 

 

近年来，我国的科技管理部门，尤其是大学的科研处、人事处等职能部门，越来越多地采用文献计量学指标来进行科研绩效的量化评价。与过去那种主观随意性较大的评价方式相比，这无疑是一个可喜的进步。但是在量化评价的实践中，由于人们对文献计量学指标的应用范围、内在特点和采集方式的理解还不够深入，出现了一些偏颇。本文试图对这些问题做些分析。

 

1　文献计量学指标适合于宏观层次的评估

 

我们常用的文献计量学指标，都来自多学科的大型数据库，如SCI、中国科技信息研究所的“中国科技论文引文数据库”、中国科学院文献情报中心的“中国科学引文数据库”等等。既然是大型数据库，就要试图覆盖全国或世界各国的科技文献，在此过程中，不得不根据宏观层次上的需要来选择数据源。于是，从根本上说就注定了这些数据库最合适的评价对象是宏观层次的单位，如国家、省市等。尽管每个数据库都会有难以避免的差错，每种文献计量学指标用于评价都有不完善之处，但在宏观评价层次上，这些问题就基本上可忽略不计了。比如，引文中既含有嘉许性的引文，又含有批评性的引文，故不宜笼统地说，引文可以反映论文的质量或影响。但对于一个国家或一个地区，完全可以说，谁发表的论文被引用的次数越多，谁的科研水平也相对较高。

 

2　中观层次的评价要注意学科特点

 

本文所说的中观层次评价指的是对大学(包括院系一级)和研究所的评价。这里，在定量评价实践中出现了一些偏差。最主要的问题是，没有充分注意不同学科的特点。例如，数学论文的平均参考文献数一向比生命科学论文的平均参考文献数要少得多，因此，后者的平均被引率一般要高于前者。假设一个大学的强项是数学，另一个大学的强项是生物学，两所大学的总体发文量和被引量都将主要取决于各自的优势学科。若单从被引指标来看，后者高于前者，我们能说，后者水平更高吗?显然，这是不合适的。

合适的做法，当然是恪守文献计量学评价的基本原则，即“同类相比”^[1]。例如，在许多人心目中，包括笔者过去的想法在内，我国的农业研究水平在世界上的地位远逊于物理学。但美国科学情报所刘煜^[2]所做的适当的比较分析则表明，中国的农业科学、生态及环境科学和植物及动物科学的论文在最近5年的平均被引量(影响因子)已经接近或处于这些学科的世界平均水平。可见，把不同学科放在一起，用同一个尺度去评价，是不合适的。每一学科应同自己的国际同行和国内同行比，应当采用适合本学科的数据库。比如对于化工院系，就不妨以CA和《中国化学文摘》为数据源，而不是非采用SCI或“中国科技论文引文数据库”之类。

 

3　微观层次的评价应慎之又慎

 

微观层次评价指的是对研究人员个人和期刊的评价。正是在微观层次上，出现的问题最多。最突出的问题，是某些大学的人事处或科研处指定某一数据源作为标准，凡大学教师发表在这些数据源所收录的期刊上的论文，才有资格作为申请职称或评奖的依据。这样做的毛病是，用一刀切的标准去对待所在学科特点各异的大量不同的个体。可以说，无论采用什么数据源作为标准，这种做法都不合适。更何况，某些标准的选用问题更多。例如，一些大学采用北京大学图书馆编辑的《中文核心期刊要目总览》作为标准，未被该书列为核心期刊的，在其上发表了论文也不作数。其实，这本书的主要用途是参考工具书，例如，图书馆选购期刊时就应当参考。编辑者也一再强调，向社会提供一种“参考工具书”，是其研究并筛选核心期刊的初衷。正因为如此，它既包含学术类期刊，也包含普及类期刊，甚至包括《中华人民共和国国务院公报》这样的刊物。如果将其用作微观层次的评价工具，则该书目前存在的一个问题是:由于采用的是传统学科分类，因此，新兴学科和跨学科的期刊就处于比较不利的地位。例如，由于没有设“管理科学”大类，而是将其划入G3类，即科学、科学研究类，因此，管理科学类期刊入选此书者就相对较少。又如，像《医学与哲学》这种期刊显然进不了医学类和哲学类的核心期刊。诸如这样的跨学科优秀期刊为数还不少。显然，对于我国越来越多的有志于跨学科研究和新兴学科研究的人员，在这种评估中将处于尴尬的境地。如果能采取一种弥补的措施，效果将会更好。

微观层次评估存在的另一问题，是大学有关职能部门在进行奖励时所持的观察视野太短，往往强调当年发表量和最近几年发表论文的引用量，这就容易诱致短期行为。必须看到，不同类型期刊文献的被引特点是大相径庭的。例如，发表在快报、通信(LETTER)类期刊上的论文，易于较快地被引用，但一般不久就没人引用了。而发表在综述评论类(REVIEW)上的论文，一般被引用量较大且较持久，但不一定在发表后很快被引用。那么，注重近期绩效的奖励方式，就不利于撰写综述评论论文的研究人员。

2000年，国家自然科学基金委公布了一批重点支持的科技期刊名单。这是令科技期刊界欢欣鼓舞的好事。不过，目前的评价办法还有一些不足之处，因为它主要依赖的是期刊的影响因子指标和被引次数指标，而没有采用与本学科期刊平均影响因子相比的一个相对指标。相信国家自然科学基金委的这一工作会不断完善。

如果用SCI论文总数来粗略反映一个国家的科学地位，则我国在1999年处于世界第十位，是有史以来最好的位次。但是，与我国经济总量排名世界第七的位次相比，目前的科学地位还不相称。我国技术水平与先进国家的差距更大。由于美国是世界上最大的市场，各国为了保护自己的技术发明，都会在美国专利商标局申请专利。1998年，获得美国专利最多的外国国家和地区是:日本(30841件)，德国(9095件)，法国(3674件)，英国(3463件)，韩国(3259件)，我国台湾地区(3100件)。香港特别行政区获得160件。中国大陆达到了历史最高水平，但只有72件时。由此可见，中国要想跻身于世界科技强国之列，科技人员任重道远。我们希望，通过不同层次上的更合理的定量评估和定性评估，切实有效地调动起广大科技人员的积极性，从而向着我们的宏伟目标步步趋近。

 

参考文献

1　梁立明，武夷山.科学计量学在科学基金管理中的应用。科研管理，1997，18（5）：56～61

2  David Liu.  Value  and  application  of  cited  references:  scientometrics  and  highlighting  trends  in  China,  the  2nd  International Symposium on Quantitative Evaluation of Research Performance, Shanghai, Oct. 23～25, 2000

3  National  Science  Foundation,  Science  and  Engineering  Indicators, 2000

转载本文请联系原作者获取授权，同时请注明本文来自武夷山科学网博客。
链接地址：https://blog.sciencenet.cn/blog-1557-10396.html

上一篇：问问自己：参与科普活动了吗？
下一篇：科技期刊在数字化时代的两难处境（摘译）