|||
唯指标论的破产——从U.S.News的数学学科排名说起
日前,著名的高校排名榜U.S.News发布最新的榜单,其中数学学科的排名显示,亚洲第一名是某地方师范大学,超过位列第二的北京大学,第三名也是一所不出名的某地方大学。
此事一出,大家议论纷纷。不少人认为那所“力压北大”的学校有“刷分的嫌疑”,也就是说,利用排名规则的漏洞,提高自己的排名。他们说:“学校想提高自己的排名,只需做两件事情:一是采用各种激励手段提高该校论文发表数量;二是在以量取胜的基础上要求本校师生在论文中互相引用。”
利用规则做对自己有利的事情,这样的手段大概大家都在用。差别只在五十步与百步,因此,有人说,是这个学校“用力过了头”。
排名的规则,总是先定下来几个指标,然后根据这几个指标来排名。我们现在的学校也好,专业也好,个人也好,都是根据这个方法来进行排名的。而排名基本上就是现在的各种管理最主要的手段。
所谓利用规则,那就是在这几个指标上下功夫。如果文章数目是一个重要指标,那么就多发文章。过去有人就把一篇文章割成两篇,以提高发文数目。如果文章引用率这个指标重要,那就提高引用率。我记得,若干年前,我们国内的许多刊物都要求作者多引用该刊物上的文章,以提高刊物的影响因子。这些似乎都属于“打擦边球”,实际上是很不好的事情。
那么,有没有一种规则,它的规定指标,能够没有“漏洞”可钻呢?我看没有。
既然指标代表着制定者心目中的某种“先进性”,那么被排名者一定会去千方百计地努力做到实现这种“先进”的指标,而且越“先进”越好。这样才能够提升自己的排名。
问题在于,几个指标的先进是否能够代表事物真正的先进?这才是一个大问题。
描述事物是否先进,比如某学校或某学科或某人的业务水平高不高,这是一个很复杂的问题,往往难以用几个数字指标来表征。
如果硬要用这几个数字指标来作为先进的判据,其结果必定是在几个指标的维度上,事物得到畸形的发展,而没有作为指标的维度则会收缩。
就像现在评价一个学校,由于科研比教学质量易于量化,因而往往把科研作为一个重要的指标。其结果就是科研得到了畸形的发展,而难以用数字指标表征的教学质量,则急剧地退化。
在科研的评价方面,把易于量化的论文数目、影响因子、引用率等作为判断指标,其结果是论文数量和影响因子上去了,而真正解决实际生产或生活中的具体问题的研究则被忽视,或者只重视有看得见经济效益的问题,而忽视难以一下子显示出经济价值的问题。
而我们却恰恰迷信几个数字指标,以为这才是科学的、客观公正的。即使在某几个具体问题是开始认识到这样做有问题,但是真要改起来却难上加难。
例如,判断社会发展情况,有人就迷信GDP,现在人们认识到了这个问题,称之为唯GDP论。判断某人的科研水平,有人就迷信发表论文的多少和刊物的影响因子或引用率,现在人们也认识到这个问题,称之为唯论文、唯影响因子。这些问题,我们开始认识到,但是,实际上大多数人和大多数地方还在这样做,原因就在于,这样做能够得到实在的好处,而不这样做就会处处碰壁。因为我们的管理方法、奖惩办法仍然是依靠几个所谓“客观公正”的指标。
用几个指标来评价一个变化着的复杂体系,其之所以不可靠,是因为它没有估量到体系中人的巨大作用。人会使得体系迅速适应这样的指标,从而使得体系成为那几个指标畸形发达的怪胎。
如果人们以为这样的怪胎才是正常的体系,那就会出大笑话。如果人们普遍认为这样做是正当的,就会产生灾难。
中国古代有一个相当于成语“按图索骥”的寓言故事。说伯乐的儿子看到他父亲的《相马经》里千里马的标准有“高大的额头,像铜钱般圆大的眼睛;蹄子圆大而端正,像堆迭起来的块”等,他就按照额头、眼睛、蹄子三个指标其寻找并打分。他所找到的,额头和眼睛的特征都是满分,蹄子分数略低,总分仍然很高,就自以为发现了一匹千里马,而结果是一只癞蛤蟆。
比喻总不可能完全准确,但是,如果人们一味依靠几个指标,用所得分数这几个数字来进行管理,所谓的先进有可能就是如上面所说的按图索骥,最后得到的却是癞蛤蟆。
在U.S .News大学学科排名得到的不合理结果这个事实中,我们应当看到的,不仅仅是某些学校的“用力过了头”,而更应当看到我们长期依靠几个指标来进行管理的方法是不可靠的。这里的不合理结果只是一个标志、一个象征,它象征着唯指标论的破产。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-23 06:47
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社