STS论坛暨STS杂坛分享 http://blog.sciencenet.cn/u/liuli66 我的博客,我的自主空间,我的交流空间

博文

取消“学科评估”和“双一流”评估中的“帽子”指标 精选

已有 9619 次阅读 2018-6-14 12:31 |个人分类:科技与创新政策|系统分类:科研笔记


作者:科学网博主LIULI


大学和科研院所的 “帽子”问题,已经引起科学共同体、有关机构和组织,以及高层的高度关注。如何有效地避免“帽子”继续被异化使用及其引起的严重负效应(包括影响我国科技创新能力的提高)?个人认为,当在“学科评估”和“双一流”评估中,取消“帽子”指标。


1 QS世界大学和学科评估中,没有”帽子“指标

QS“世界一流学科”排名指标,如下,其中没有”帽子“指标。

1)基于同行评议的学术声誉

同行评议是QS 世界大学学科排名中的核心部分,通过对同行专家的调查而获得某一学科的学术声望评价。2015年共有76 798名受访者参与调查,他们均来自于QS国际大型数据库的抽样用户。这项调查按照如下的结构化方式进行:(1)个人信息。包含:姓名、联系方式、职位、所在机构;(2)专业领域选取。调查对象可选出至多两个专业领域,但统计结果时,对只选一个专业领域的回复将被赋予更高的权重;(3)院校提名。调查对象可提名10所国内院校和30所国际院校,规定不得提名自己所在院校;(4)附加信息。

2)基于雇主评价的就业声誉

QS世界大学学科排名指标体系的独特之处在于,将毕业生的就业能力作为评价大学教育质量的一个重要指标。就业前景是学生和家长都非常关注的,是一所院校或一个专业被学生选择的重要因素,也是学校人才培养效果的体现,设立这一指标具有很强的实用价值。

就业声誉的调查类似于学术声誉调查,只是没有针对雇主进行不同的领域划分。QS要求雇主们依据所招收的毕业生质量,提名前10所国内院校和前30所国际院校,同时也要指出他们更倾向于雇用哪个学科的毕业生。考虑到就业的机构和岗位不一定完全与专业匹配,所以在调查中,雇主可以从所有专业中提出他们更倾向于雇用毕业生的所在学科。2015年有44 426名雇主参与了调查。

3)论文被引用率

这一测量指标是针对大学科研能力而设计的。该指标计算的是每篇论文的被引用数量,而不是每个作者论文被引用的情况。该指标的数据来源是Scopus数据库,计算论文出版以及引用的时间周期为五年。该指标统计数据时排除论文的自引数量和跨学科的出版物。QS为每个学科设立了论文数量的最低门槛,以避免出现异常数据。

4) H指数 QS 2013年开始引入这个指标。

四类指标分学科确立权重

如何确定这四个一级指标在学科评价中的权重呢?QS没有采取对所有学科“一刀切”的做法,而是针对不同学科的特点,分别确立权重。

 

在其他几种国际大学排行榜中,也未见到[国别国内]“帽子”指标。上海软科世界大学学术排名中,提到的“帽子”是国际顶级的,即诺贝尔奖,数学菲尔茨奖。


2 第四轮学科评估指标淡化“帽子”指标,方向是对的

     在第四轮学科评估指标说明中,明确指出:在“师资质量”指标中,采用“代表性骨干教师”指标,克服单一“以学术头衔评价学术水平”的片面性。也就是说,不以各种“帽子”及其多少来评价师资队伍质量。

虽然评估文件作了这样的规定,但在实际评估中,是否数“帽子”及其权重,就不得而知了。

    提一个“矫枉过正”的建议:在学校上报的评估材料中,不得提某位教师的“帽子”;如果要提,也可以,必须标注“时段性”,比如“杰青”(2005-2010);“帽子”不能采取“终身制”。


3 “双一流”评估指标中,是否有“帽子”指标及其权重,未见公开报道,不得而知。

   据调研,UCXX大学从科研院所“引进”了很多“杰青”和“长江学者”。在外界看来,这些做是为了在下一轮“双一流”评选(和/或学科评估)中,争先上位。

 

4 在我们提出的学科评估指标中,也没有“帽子”。

     我们提出的学科评估指标,如下:

    (1)基于同行评议的学术声誉。考察学术声誉是核心,建议以教育部学位与研究生教育发展中心为牵头单位,建立全球性专业学术人员数据库;充分借鉴QS的操作方式方法,进行学术声誉评价。在我国自己的世界大学学术声誉评价未建立起来之前,可借用QS的学术声誉评价得分进行评估。

(2)基于雇主评价的就业声誉。这一指标的设立具有很强的现实意义。建议以教育部学位与研究生教育发展中心为牵头单位,建立全球性雇主数据库;充分借鉴QS的操作方式方法,进行雇主评价。在我国自己的世界大学雇主声誉评价未建立起来之前,可借用QS的雇主声誉评价得分进行评估。

(3)科研评价。对这一评价指标的构建考虑以下几方面:关于数据来源选择,相比于QS选择SCOPUS数据库,我国的现实情况是更看重SCI/SSCI,其论文数据主要来源于(WebOf Science, WOS)数据库;增加人均SCI/SSCI的指标;考虑SCI/SSCI引用率;考虑机构万元经费的SCI/SSCI产出数;考虑人均经费的产出值、贡献率;考虑ESI 国际学科排名。

(4)社会影响。对科研成果进行学术体系以外的影响力评价以及学术成果在非学术群体及公众中的影响力评价。考察学术成果在公众中产生什么影响、为社会服务的情况,以及最新科研成果的科学传播效果。主要目的是引导高等教育机构加强与非学术界的广泛联系,包括激发学者采用特定策略改变社会政策的动机、促使高等教育机构支持其学者更多地参与到与社会相关的研究活动中去,其最终目的是促进产学研结合,推动经济发展,提高社会福利,完善社会政策。要求各学科提供至多五个对社会经济建设做出贡献的“典型案例”。

 

结语

在“学科评估”评估指标中,在“双一流”评估指标中,“禁止”设置“帽子”指标。


主要来源:

“世界一流学科”评价必须另起炉灶——为你介绍最著名的大学排名背后的故事 《三思派》20161219 https://mp.weixin.qq.com/s/u1Rjtx2CAp92-x-1TP4VDA


提醒:如有记者引用本文观点,请注明作者为“科学网博主LIULI”(而不能写“THU刘立”)



科研评价指标功与过
http://blog.sciencenet.cn/blog-71079-1118920.html

上一篇:企业做基础研究不仅能贡献技术创新,还能出诺贝尔奖
下一篇:查SCI/SSCI影响因子不求人(附科史哲SSCI名单)

27 武夷山 牛登科 王庆浩 王振亭 李俊 许培扬 刘锋 王毅翔 施超 孙颉 蒲亨建 王从彦 史晓雷 蒋永华 徐树良 蒋继平 杨正瓴 李东风 孟浩 赵新铭 章雨旭 苏德辰 冯兆东 黄强 刘浔江 徐世文 农绍庄

该博文允许注册用户评论 请点击登录 评论 (50 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2018-10-23 02:42

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部