按：本文发表于2009.4《科研管理》。

对于指标体系综合评价而言，由于评价方法众多，对于同一评价对象，各种评价方法评价结果不尽相同，这个问题已经得到了普遍认识，这个问题的严重性有多大？人们的认识并不相同。由于大多数评价往往都和利益相关，而且评价者与被评价者在地位上往往又是不对等的，实际问题会相当复杂。

客观公正是科技评价的基础，但是在具体操作上会相当复杂。首先，什么是客观评价？某种程度上讲，一切评价都是主观评价，因为指标选取是人为的，评价方法选取也是人为的，怎么可能客观？其次，果真做到客观评价，恐怕意见会更大，方法A对指标X的权重是0.3，方法B对指标X的权重是0.05，二者相差6倍。第三，具体到某个评价，某些重要指标专家们还是会有相当程度的一致性的，比如指标X大家一致认为最重要，但是采用客观评价方法根本没有这种可能性。

撇开人为因素，在评价技术方面还有许多改进。在保证专家都客观公正的情况下，我们又如何保证不同评价方法评价结果相差过大问题呢？

从统计学的角度，评价只有宏观意义，比如说，我们说张三和李四都是优，这没有问题，分歧会小很多，但是如果张三是94.5，李四是93.9，谁能保证张三一定超过李四？然而目前存在的问题是，本来应该宏观应用的问题被微观化了，评价排序变成了某些单位炫耀的资本，这本身并不可信。

现在越来越要求透明化，讲求信息公开，尤其在政府决策层面，评价方法的公开透明也是个时间问题。北大图书馆在评定2008年核心期刊时，就将评价方法公开了，下面的问题是，评价方法一旦公开，你拿什么理由证明你的方法是最为科学有效的？

综上所述，无论从管理层面和技术层面，多属性评价还有许多问题需要研究和解决，希望感兴趣的朋友一起参与讨论。本文仅讨论了其中很小一部分问题。

           2009年7月27 俞立平 于邗上

摘要：本文利用英国《泰晤士报高等教育增刊》2007年世界大学排名的原始数据，分别采用主成分分析、因子分析、TOPSIS法、秩和比法、灰色关联法、熵权法六种客观赋权法进行排序，然后比较了各种评价结果，并将这六种客观赋权评价结果与泰晤士报主观赋权评价结果进行了两两比较。研究发现：客观赋权法的评价结果无法得到公认，比较适用宏观分级评价；评价对象自身的差异程度会影响不同评价方法评价结果之间的一致性；在评价数据呈正态分布情况下，客观赋权法评价结果与权威主观评价结果相比，处于数据中间段的评价结果相差较大，而处于数据系列两端的评价对象会得到较为一致的评价；主客观赋权方法相结合是综合评价的发展方向。

关键词：科技教育评价  客观赋权 主观赋权 大学排名

PDF下载

转载本文请联系原作者获取授权，同时请注明本文来自俞立平科学网博客。
链接地址：https://blog.sciencenet.cn/blog-45134-245876.html

上一篇：不上路子的扬州市统计局
下一篇：小时候的挣钱之道