注：发表于2008.3《科学学研究》

摘要：为了研究同行评议与指标体系评价结果之间的关系，本文基于《泰晤士报高等教育增刊》2007年世界大学排名数据，利用多元回归分析和Kappa一致性检验法进行了研究。研究发现，数据丰富程度影响同行评议与指标评价的一致性；在数据不足的情况下，辅以同行评议进行综合评价是较优的选择；可用回归拟合优度对数据丰富程度进行判断；同行评议也有其适用范围，权威的同行评议可以作为指标体系权重赋值以及指标选取的重要依据；在数据较为丰富的情况下可以向同行评议专家提供原始数据。

结论与讨论

    5.1数据丰富程度影响同行评议与指标评价的一致性

由于科技评价的对象不同，数据获取的难度也不一样。对于一些基础工作较好，数据搜集容易，指标体系完备的评价场合，单单指标体系就能提供丰富的信息，那么，在权重设置相对合理、同行评议相对客观的情况下，同行评议与指标体系评价的结果应该是应该具有一致性的。就世界高校排名而言，由于国家众多，数据搜集不便，论文写作语言不同，在这样的情况下，纯指标得分难以和同行评议结果相一致，当然，由于评价的复杂性，在多数场合，同行评议与指标体系总得分不会完全一致。

5.2在数据不足或不准确的情况下，辅以同行评议进行综合评价是较优的选择

既然数据获取困难，单纯利用指标体系进行评价必然存在缺陷，在这种情况下，将同行评议结果作为一项指标，与其他指标一起构成指标体系进行综合评价，就可以弥补数据不足或不准确的缺陷。这样的评价，能提供较为全面的信息，取得较好的评价效果。

5.3可用回归拟合优度对数据丰富程度进行判断

那么，如何得知数据的丰富程度呢？在条件许可的情况下，只要进行较为权威的同行评价就可以进行判断，方法是将同行评议结果作为因变量，现有指标作为自变量进行回归，重点分析R²值大小，如果R²较小，则可以肯定数据不够丰富，但是，如果R²较大，说明基础数据比较丰富且准确，此时就没有必要将同行评议结果作为一项指标放到指标体系中去，这样可以大大降低评估成本，提高评估的客观性。一般情况下，R²>0.5时就要慎重考虑是否有必要保留同行评议结果指标。

5.4多元回归同样可以作为指标选取的依据之一

采用上述多元回归在某些情况下还可以进行指标选取，如果指标间相关程度较低，完全可以根据科技评价理论与统计检验结果进行多余指标的剔除。不过删除指标时一定要慎重，如果从理论上分析，该指标确实重要，那么是不能轻易删除的，比如评价大学水平如果采用获诺贝尔奖金人数作为一项指标，在一些国家如果获奖人数极少，那么该指标回归系数肯定不显著，但该指标肯定不能轻易删除。

5.5权威、公正的同行评议可以作为评价指标权重赋值的重要依据

利用数据丰富、准确程度的判断方法，当R²较大时，多元回归中各指标系数就是指标体系权重的重要依据。在评价对象相对固定，指标体系中单个指标的数量变动相对不大的情况下，经过若干轮的实践，是可以比较客观地得到指标体系中各指标的权重的。此时，可以考虑不进行同行评议，完全利用指标体系直接进行评价。当然，即使采用较合理的指标体系进行评价，每隔一段时间也应该采用同行评议对其评价结果进行验证或修正。

迄今为止的已有几十种指标权重赋值方法，各种权重赋值方法结果与回归系数赋权很难一致。在回归拟合优度较高时，可以对同行评议与指标体系评价结果进行Kappa一致性检验，若结果基本相同，则以后的评价无论采取哪种方式都是可以的。若结果不同，建议以后的评价以指标体系为准。

5.6同行评议在某些情况下不可替代

如上所述，在相对成熟的评价领域，如科研机构中某些学科的评价，可以不采用同行评议。但是对于国家自然科学基金申请、科技期刊论文评价等领域，同行评议可能是最主要甚至是惟一的方法。

5.7向同行评议专家提供有关数据作为决策参考的必要性

那么要不要向所有的同行评议专家提供基础数据呢？首先要对指标体系进行分析，如果指标体系本身数据比较完备，能反映完全信息，此时应向同行评议专家提供相关数据，以避免专家由于数据缺失而造成的偏见。如果基础数据本来就较少，此时不提供基础数据给同行评议专家可能反而是较好的选择，让专家凭直觉进行判断即可。

5.8同行评议质量的判断

如果经过理论分析和数据稽核，可以肯定指标体系的完备性和数据丰富，此时，若回归结果R²值较低，再结合Kappa一致性检验，发现同行评议与指标体系不一致，此时要从同行评议的各环节加以深入分析，如有没有明确评价目的和标准？同行评议专家的选取是否客观公正？同行评议程序是否规范等等？毕竟在同行评议中存在着各种利益相关与利益冲突问题。

5.9同行评议的选择问题

在数据较为丰富的情况下，有没有必要进行同行评议呢？进一步说，如果同行评议的结果相对客观公正，那还要指标体系干吗？问题是专家也是人，他无法精确确定评价结果，比如，你让专家给个优、良、中之类的分级评价，是可以接受的。如果让专家打分，精确到97、96、93，那么专家自己也不相信这个结果就一定可信。此外，不同批次专家的评价结果可能不一致，比如，这次30各专家有一个结果，换另外30个专家可能结果不一致，可靠性低。也就是说，在数据相对丰富的情况下，同行评议的结果不如指标体系稳定。因此，采用指标体系进行评价，可以较低成本，而且具有一定的客观性。

5.10在原始数据较少的情况下不宜采用本文的方法

采用回归法进行分析是有一定的前提条件的，就是数据记录的个数，必须保证一定的自由度，在评价指标较多，数据记录较少的情况下，是不能进行回归分析的。

 

PDF论文

转载本文请联系原作者获取授权，同时请注明本文来自俞立平科学网博客。
链接地址：https://blog.sciencenet.cn/blog-45134-43587.html

上一篇：学术水平的反映：论文还是课题?
下一篇：参加第五届中国软科学国际研讨会有感