里瑟琦智库分享 http://blog.sciencenet.cn/u/idmresearch

博文

【学科评估】第四轮学科评估分档方法还能优化吗?

已有 3535 次阅读 2018-3-25 13:02 |系统分类:观点评述

 【学科评估】第四轮学科评估分档方法还能优化吗?

从2002年开始,教育部学位中心依据学科目录,按照一级学科的口径开展学科评估,迄今已开展了四轮。评价方法不断改进,指标体系愈发科学;参评高校不断增多,覆盖面更加广泛;社会影响力不断增强,关注度急剧提升。在众多的评估体系中,教育部学位中心组织的学科评估无疑是评价角度最全面,投入力量最充分,认可度最高,影响力最大的国内高校学科评价体系。

2017年底发布的第四轮学科评估结果,在结果发布上,与历次有较大的区别。将以往的按分值发布改变为按照分档的方式发布,这样一来通过分数就无法推断出学科的具体排名。从A+~C-九段分档结果中可以看出高校学科发展水平高低的聚类,弱化精细分数差异造成的名次差异,引导高校不必过度关注分数和排名,而是通过评估发现学科建设的优势和不足,揭示学科发展规律,促进学科内涵发展。(参考自《努力构建中国特色国际影响的学科评估体系》,黄宝印等)以分档发布评估结果是学科评估的一项有意义的重大改变,一定程度上可以弱化微弱分差造成的刚性名次差异。

现行的分档方式主要通过各学科参评高校的百分比进行划分,A+:2%;A:5%;A-:10%;B+:20%;B:30%;B-:40%;C+:50%;C:60%;C-:70%;70%以后的高校不发布。同时对绝对名次为第一和第二名的划归为A+档,以对参评高校少的小学科进行客观修正。

如果说分档是为了弱化精细分数差异造成名次差异的作用,或许不应以刚性的百分比进行档位划分,而应根据某学科各参评高校的得分曲线,寻找分值变化较大的拐点进行档位划分。如以第三轮评估发布的某学科为例,该学科共有70多个高校参评,得分曲线如下图,在曲线中以红色点标注的位置为得分拐点,以其作为分档依据,更能体现出分档的含义。图中的八条竖线为按照现有的百分比分档规则作出的档位划分,从图中不难看到,有得分相近的高校被划分在不同的档位,未能很好的解决微弱分差造成的名次差异问题。但由于第四轮评估结果的实际得分可能是一条相对平滑的曲线,难以从中找到拐点,而且用寻找拐点的方法进行分档难以确定各档位的高校数量,也难以在不同学科间进行档位类比,因此,笔者暂时放弃对本方法的进一步思考与讨论。


以下内容将基于现有百分比分档法进行方案优化的思考,考虑不周,请批评指正。


一、现行百分比分档法可能存在的问题


如果参评的95个一级学科,其学科规模一致或差异不大,现行的百分比分档法不会造成学科间的差异。但第四轮参评的95个学科,规模差异较大,最多的学科有240个高校参评(大学科),最少的学科参评高校数量仅有8个(小学科)。如果按现行分档规则,将仅有8个高校参评的小学科映射到百分比尺度中,将是如下图状况。8个高校学科的前两名按规则被提升到A+档(图中空心的两个橙色圈高校放到A+档的位置),因此,造成了A+档以后的连续档位空缺,直至B-才出现了参评高校。对于该学科,原排名第三的学科与第二名相差了4个档位,如果从得分来看,部分学科的二、三名之间并没有这么大的差异。 



同时,各高校在分析本校参评学科的评价结果时,难免以分档来衡量优劣,进行学科间的比较。对于没有进入本学科前两名的小学科,在学科间对比时往往处于不利地位,例如前述只有8个高校参评的学科,其第三名是B-档,而另一个有200多高校参评的学科,位列50多名的高校可进入B档,但孰优孰劣?如何评判?

二、百分比分档法的优化构建


笔者认为,同样的排名,在大小学科中的含金量应该有所差别,在大学科中含金量更高。而以现行分档方式得出的分档结果,同样的分档在大小学科中也应该有含金量的差异,在小学科中含金量更高。基于如上思考,试图在现有的百分比分档法基础上,构建一种新的分档方式,为小学科的承建高校呈现更为合理的结果,尽可能做到相同的分档在不同大小的学科中有等同的含义。


百分比分档法的优化原则:


1.以参评高校最多的学科为基础(240个),将其它学科的排名按照240名的总尺度对应到新排名体系中。

2.各学科的第1名对应为第1名,各学科的最后一名对应到240名。

3.其它位次按照距离递增的原则分别对应到1~240名之间。即第3名对应位次与第2名对应位次的差值,大于第2名对应位次与1名对应位次的差值,依次类推。以前述8个高校的小学科为例,根据新规则构建的原始名次、对应名次见下表。



4. 以最大学科的参评高校数(240)为基础,按照现行的百分比分档规则,将对应名次分别归类到以240位基础的2%,5%,10%,20%,30%,40%,50%,60%,70%档位中,并赋予A+~C-的档位结果。


根据以上优化原则,构建位次转换公式:


例:以8个高校参评的小学科为例,转换后的位次及档位分布见下图,橙色点为转换前的分档结果,绿色点为转换后的分档结果。



三、以新百分比分档法计算的各学科各档位高校数与现有情况对比。


根据新的归档方法,分别计算出95个一级学科在从A+~C-九个档位中的高校数量。下表中对每个学科呈现三组数据,一是“当前结果”:指第四轮评估发布结果中各档高校的数量。二是“现行分档法”:指按照当前的分档方法,各档高校的数量(“当前结果”和“现行分档法”中各档的数量不尽一致,相关档位的末位高校存在得分并列情况或许是一种合理的解释)。三是“新分档法”:指采用新的百分比分档法计算出的各档高校数量。表中对“现行分档法”和“新分档法”的各学科各档位的高校数量用色带的方式进行了直观呈现,可通过对比各档位色带的长短对两种分档方法的结果进行直观观测。



作者 | 吴云峰,北京师范大学地理科学学部;张端鸿,同济大学高等教育研究所



https://blog.sciencenet.cn/blog-2903646-1105633.html

上一篇:【智库评论】不应将无底线的师生关系合情合理化
下一篇:【聚焦“双一流”】登上“双一流”也不能忽视现代大学制度建设
收藏 IP: 124.76.16.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-7-26 08:11

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部