||
俺们早(至少5年前)就说过:评价,尤其是多指标专家赋权的排队评价,基本上每次评价结果出来,就会很容易地找到一个或多个反例,证明这个评价结果是荒谬的。
对于人,对于机构,几乎所有的评价都面临如此困境。
那么,究竟哪些评价才能避免这个问题呢?
答案是:明确的单指标评价,且有一个公认的度量技术。比如评价人,可以只用身高毫米数来分高矮,这个指标就很清楚。
比如:姚明就是比你高,你不服,那就站到人家跟前比比看。
可是,你如果要评价谁的篮球水平高——
此时把迈克尔-乔丹和姚明拉到一起评价,那姚明大概就不怎么占优了。
对于篮球水平这个东西,你会用什么指标来评呢?
老王说:应该看进球数和得分数。
老李说:应该看本队落后时这个人的表现,能否挽狂澜于既倒。
老赵说:得看他所在队得冠军的次数,或者本队胜过对手所在球队的次数。
老林说:还是看球员的身价比较合适,这个钱数是做不得假的。
如此等等,有更聪明的人出来说,那还是这些指标都拿来吧,综合一下不就全面了。
好,我们拿10个指标过来,可是接着就要解决权重设置问题,到底这四个方面是同等重要呢,还是某个更重要些?重要多少呢?
这就得弄来若干所谓的专家来合计合计了——这就是专家打分。
可是,这一拨专家觉得应该这样,那一拨意见恰恰相反,你准备听谁的?这就有选择专家的问题。
如此荒谬的过程,让了解评价内情的人去相信都困难。所以,在很多评价中,我们只能当它是“排排坐”。
可是,排排坐可以,你却不能真按照这个排排坐的顺序来确定谁优先吃果果!
幼儿园里,在排排坐的小朋友那里,因为大家都能吃上果果,无非是有1分钟的前后次序差异而已,这个没有关系,大家都能等得,且早吃和晚吃一分钟没有本质差别。
而现实中非小朋友们的排序之后,却是排到前面的有果果吃,后面的要么是很差的果果,要么就干脆没果果吃。
矛盾立刻凸显!那么,大家对于你的这个排队结果就可以去质疑一下了,如果发现其中有明显的反例存在还挺多,有的人还不得跟你急啊,并且抓紧时间嘲笑你一通还算轻的。
所以,我主张评价,但是主张在这个基础上一定要增加“申诉”机制。如果大家愿意申诉,则随时提供这样的渠道和答辩机会。
记得前段时间徐州师范大学和徐州医学院争夺博士点的授予权,结果,徐州医学院胜出。但是,徐州师范大学不服,不服就申诉,正常渠道不通,于是就申诉到新语丝上去了。
最后引起了更大范围的关注——江苏的高等教育管理机构的官员们究竟是干什么吃的?!他们的智商是否在50以下,大家看了公开的申诉之后大可去怀疑一番。
当然,现实中在我国的申诉往往是不给你渠道的,或者你去申诉他说收到了,然后用时间老人来把你拖到自己都感到没劲,也算一个解决方式。
可是,问题却依然存在,并没有解决或消除。
我建议,评价的时候分成档要比一个一个你前我后地评更好一些,人和人,机构和机构,即便有些差异,还能是革命性的?
比如,大学排名,更可以按照一档30所(985),二档100所(211),三档500所,四档1500所这样的层次拉开。
而我们的大学排名,还是喜欢第一和第二截然分来,哪怕分数差十万分之一呢,而结果最好是我是第一所以获得经费就比你多10个亿。直接将这样的排队结果和“吃果果”挂钩,那自然会带来一大堆的负面影响。
我在研究香港RGC资助项目的结果审定时,发现他们只有两档,合格和不合格,要说有的人做得很好,应该分个优良中差才对,或者百分制打一下分数,多清楚啊。
老兄,你是上学还没上够吧?
我们的基金委则是按照特优,优,良之类来评分,这个特优就可笑得很,我见过几个所谓得到特优评价的项目,主持项目的人抓到下一个方向的课题,这个方向就完全扔了。像这样的项目,给个不合格都可以。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-1 20:13
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社