闲寻芳草——周浙昆的博客分享 http://blog.sciencenet.cn/u/周浙昆

博文

从我所经历的一次国际考评谈起 精选

已有 9954 次阅读 2020-3-8 16:37 |个人分类:人生感悟|系统分类:科研笔记| 科研评价, 国际考评, SCI论文

 

自从教育部 科技部印发《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》的通知以后,对于科研业绩的考评就成了《科学网》的热门话题。 多年来科研管理部分似乎一直没有找到一个被广大科研人员所认可的,有公信力的科研考评和人才评价体系,每次新的政策一出,都会引起热议。今天我也凑一个热闹,谈谈我所经历的一次“国际考评”。

我所在的研究所每年都要进行考评,然后根据考评的结果进行末尾淘汰和绩效工作的发放。 那个时候对于每年一次的考核,科研人员都有较大的压力。我见证过一些研究组由于考核名落孙山而被解散,科研人员的收入也因考核结果,拉开较大的差距。SCI论文和项目就是考核的两项硬指标,每个项目和每篇SCI论文都被量化为一个具体的分数,项目越多,论文发得越多,影响因子越高,考评的结果就越好。那个时候,研究所有40个多课题组,从事不同的专业和学科,有做植化的,有做分子的,有做分类和区系的,但是考评的时候大家都放在一起进行评比。我从事的研究是小众的基础研究,整个学科领域期刊影响因子都不高,我发的论文影响因子也不高。在每年考核中,我的名次也仅比孙山稍高几位,每次考核的时候都是压力山大。那个时候干科研和下乡时挣工分没有多大差别,几乎忘记了科学研究的初心。

为了改进考核方法,上级主管单位对所辖研究所组织了一次国际考评。评委由上级主管单位根据研究所的性质和学科特点在国际上遴选。考评分三个阶段,首先个人提交英文的业绩报告,报告特别注明要写出研究组的主要创新点。当然,发表的论文的清单也是必不可少的,也要求提供5篇代表作。第二个阶段是每个PI用英文向考评组陈述自己的工作,报告时间是20分钟,专家组有10分钟的提问。PI需要陈述自己最亮点的工作和创新之处。这个阶段研究所的PI按照研究学科性质分成两个大组进行的。第三个阶段,专家组根据PI的报告和现场陈述对每个研究组进行打分。打分按照美国NIH的体系进行,1.0-1.5是Outstanding, 1.6-2.0是excellent,2.1-2.5是good, 2.6-3.0是fair。考评的结果只向所领导报告,各研究组只收到自己的评估报告。从我收到的报告看,考评组从Overview, Significance/Impact of Research, Scientific Achievement, Creativity/Innovation and Productivity, Research Potential for the Next Five to Ten Years 和Overall Evaluation 等六个方面向被考评人反馈考评结果。在这次考评中,考评专家组组特别强调研究组在国际上的地位,注重被考评人与国际小同行的比较;其次,特别注意PI的研究组工作是否围绕科学假说和科学问题展开,研究工作是否有系统性,所提出的科学问题和假说的科学价值如何;其三,即看论文的篇数和所发表的期刊,又不完全依据篇数和所发表的期刊来做出判断。

考核结束,全所有6个组被评为outstanding,3个组评为excellent,6个组得到了2.5分被判定为不合格,其余研究组是合格的级别。在这次考评中,我得到了1.6分进入了excellent的等级,而在之前研究所数工分式的考核中,我都是排名靠后的。有一些论文发得比我多的研究组,得分比我高(得分越高成绩越差),原因是他们的论文之间关联性太差,研究不成体系,研究组的科学问题不明确,不集中。

现在回过头来,这个国际考评的理念与实际操作与科技部最近所发文件的精神还是比较吻合的。首先是对不同的学科进行分类考核,尽管这个分类考核,分得还有些粗糙,但是已经做到没有用一个标准来评判跳高的和跑步了。第二,在看论文产出的同时,更看中论文的创新性,和所以论文的关联性和系统性。除了论文发表的期刊外和引用率以外,更看重论文的国际同行对论文的评价和论文的科学价值。第三这个考核,还评价了研究组的潜力,指出了一些具体的努力方向。我个人认为这是一次成功的考评,让人心悦诚服的考评。我在那个考核之后,按照专家组的建议,努力去做一些cutting-edge的工作与发现。

这次国际考核成功的一个关键,我认为首先是有一个高水平的考核专家团队,他们非常严肃认真地对待这次考评工作,没有简单地依靠数据和刊物来判断一个研究组,他们认真地阅读了每个研究团队的报告,听取了PI的陈述,依靠自己的专业素养,对各位PI进行了客观的评价。教育部和科技部《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》应该说是一个非常好的文件,充分考虑之前科研业绩考评中的弊端,针对当前考评中的突出问题,特别是对于SCI过分依赖的问题,提出了一些指导性意见。我看一些网上评价,大家对于对唯SCI都是反对的。但是担心在“废除了SCI、ESI、IF、JCR、H-index、他引次数等可以直观比较的量化指标,基层科研工作者更怕那些掌控了话语权、终裁权、拥有巨大班扎夫权力指数、又带有强烈个人主观色彩的冯闷棍了”(引自王龙的博文,http://blog.sciencenet.cn/blog-467514-1222254.html)。就像高考一样,大家都知道,一考定终身的考试方式有诸多的弊端,但是这“一考”,保障了基本的公平与公正。 

教育部 科技部的文件指出;“对于基础研究,论文是成果产出的主要表达形式,坚决摒弃“以刊评文”,评价重点是论文的创新水平和科学价值,不把SCI论文相关指标作为直接判断依据”。以刊评文肯定不对,不同的期刊办刊的目的不一样,发表文章的标准和要求有所有一些期刊的重点是最求新奇,而有一些期刊的则是强调工作的系统性。科学研究的常态是能够在本领域最好的期刊持续不断地发表论文,而不是只发表Science 和Nature的论文。但是,一般而言越是好的期刊,评审过程越是规范和客观。如果完全摒弃“以刊评文”那么由谁来判断论文的水平和价值呢?这又要回到由人,由评委来判断论文的水平和价值了,这就对科技界自律水平提出了较高的要求。也就是两部委文件一开就是强调的“净化学术风气,优化学术生态” 。

任何一个评价体系(更何况我们还没有自己成熟的评价体系)都不可能是十全十美的。减少科研评价和各种行政命令对科研工作的干扰,将发表论文多少与个人收入脱钩,树立正确价值取向,引导科技工作者为探索未知世界而发表论文,才能树立一种风清气正的科研环境,让学术研究回归初心。




https://blog.sciencenet.cn/blog-52727-1222417.html

上一篇:青藏高原是研究生物演化和环境演变的天然实验室
下一篇:我和周俊院士的二、三事
收藏 IP: 210.72.93.*| 热度|

48 吴斌 曾荣昌 周忠浩 晏丽红 王振亭 王立新 蔡志全 黄永义 吴嗣泽 沈妙根 苏德辰 刘立 张勇 韦四江 杨正瓴 吕厚远 李东风 冯大诚 高峡 王从彦 王安良 李晓姣 李世晋 郑永军 王明明 赵志宏 王德华 汤茂林 傅国旗 季丹 白成英 左宋林 陈智文 彭渤 畅智慧 施树明 刘全慧 陈辉 张晓良 罗娜 徐冉成 曹俊兴 涂用广 刘彬彬 宁利中 江左其杲 郁志勇 唐琳萌

该博文允许注册用户评论 请点击登录 评论 (39 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-21 22:52

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部