科技评价包括科技政策评价、科研人员评价、科研机构评价、学术期刊评价等诸多方面。科技评价是科技管理工作的重要组成部分，全面客观公正的评价可以鼓励学术竞争，促进科技资源优化配置，推动国家科技事业持续健康发展。

在科技评价中，被评价对象固然处于核心的地位，但是评价者的作用也不容忽视。目前，在中国评价者主要有以下几种情况：第一是政府机构进行的评价，这些机构有些是政府部门的常设机构，有些是聘请专家学者组成的临时评价机构，如教育部组织的5年一轮的大学教学评估。第二是专业评价机构，这些机构有一些是政府背景的事业单位，如中国科学技术信息研究所从1987年开始进行的期刊评价，每年发布一次《中国科技期刊引证报告》；有一些是高校组建的评价机构，如南京大学的中国社会科学研究评价中心。第三是学者团队或学者个人进行的评价，一般以科研课题为依托，如武书连领衔的中国大学评价课题组。这三类评价者中，政府部门和专业评价机构的影响相对大一些，学者个人所进行的评价影响相对小一些。

无论是什么性质的评价者，在进行科技评价时绝不是闭门造车，除了搜集整理数据，进行文献检索外，评价课题论证、课题研究必须征求除评价者以外的外部专家的意见和建议，评价中有一些数据还要请外部专家打分。可以这么说，一定数量的高质量的外部专家决定了评价工作本身的质量。本文所关心的问题是，评价者在什么情况下需要外部专家？评价者应该向外部专家提供什么？外部专家应该向评价者反馈什么？评价者与外部专家之间应该交换什么信息？评价者与外部专家的沟通方式如何影响评价质量？等等。

在科技评价中，关于评价者与外部专家关系的研究，主要集中在同行评议上。同行评议在国际上普遍被认为是科学研究领域上一种行之有效的决策和评估方法。现在同行评议已经广泛应用到企业管理、重大投资项目可行性分析、政府决策等诸多方面。美国国家科学基金会（NSF）、加拿大自然科学与工程研究理事会（NSERC），澳大利亚研究理事会（ARC）、中国国家自然科学基金委员会（NSFC），国家社科基金（NPOPSS）等都将同行评议作为遴选科学基金项目的主要手段。朱作言^[1]系统论述了科学自主性（科学自治、科学探索自由以及科学价值独立）与同行评议的关系，探讨如何通过寻求和发展科学与外部环境沟通的更加多样化的有效途径，使得科学在保持其自主性的同时积极承担起对社会的责任。吴述尧^[2]系统论述了同行评议方法、功能、固有缺陷及在科技进步中的地位。朱志文、于晟^[3]认为同行评议意见的综合不是简单的加减乘除，也不能采取去掉一个最高分和一个最低分的方式，而是在认真的领会、反复对比、提炼、权重、乃至咨询、调研的基础上加以综合。王成红、何杰等^[4]给出了基金申请项目评价值的数学模型，给出了一种同行通信评议专家关于基金申请项目评价值的调整算法。刘益东^[5]提出了一种超越同行评议的复合型学术评估法。俞立平^[6]通过定量方法给出了在科技评价是采用同行评议评价，还是指标体系评价，或者是同行评议与指标体系评价相结合的选择方法。

现有的研究侧重于同行评议制度、同行评议的公平性、基金评审过程中同行评议的实施方法、同行评议专家水平的评价、同行评议方法的改进等等。而且主要基于政府层面的视角，基于科研机构和学者个人角度讨论同行评议的不多。

关于专家意见综合方法的研究较多，如周晓光、张强^[7]分析和比较了典型的Vague排序函数，在考虑专家决策结果的一致性和专家权重的基础上，提出了一种改进的排序函数对专家意见进行综合。孙晓东 田澎^[8]针对群决策问题，提出了一种基于群体一致性强度的虚拟专家意见逐步集结规划的方法。程家瑜^[9]的研究表明，在技术预测中咨询21～25位熟悉专家比较合适。吴坚、梁昌勇^[10]等研究了群决策中专家决策水平可靠性问题，对用群组决策的特征根法及其使用条件做出了修正。总体上，专家意见的综合类似于多属性评价，也存在方法众多结果难以广泛认同的问题。此外，现有的研究侧重于采用数学方法进行综合，理论研究成果不多。

本文首先分析科技评价要素与外部专家的关系，然后将外部专家对科技评价的贡献进行分类，进而分析评价者应该向外部专家提供哪些信息，最后就评价者与外部专家互动的注意事项进行讨论。

科技评价要素包括评价对象、评价者、评价数据、评价方法、评价组织等诸多方面，这些环节都与外部的专家有着密切的联系，甚至在某种程度上，外部专家其实也是科技评价的要素之一。

2.1评价对象

科技评价对象包括科技人员、科研机构、学术期刊。科技政策等诸多方面，从具体的类型看，又分为论文评审、基金评审、奖励评审等。评价对象不同，评价方法和手段也不尽相同。即使对于同一评价对象，短期评价与长期评价不同，个体评价与总体评价也不同。由于科技评价对象的复杂性，仅仅依靠评价者获得评价对象的总体全貌是非常困难的，必须征求外部专家的意见和建议。

2.2评价者

无论是政府评价还是机构评价，基本上是以团队为基础的。一个评价团队，少则数人，多则数十人甚至更多。团队成员知识结构一般是互补的，一方面这有利于做好评价工作，另一方面也存在一定的不足，如果在评价相关的某个学科领域只有团队少数成员熟悉，万一这方面的知识理解存在偏差，就会影响评价结果。因此单靠团队自身的学识和水平是不够的，必须进行引智。

2.3评价数据

    数据是评价工作的基石，数据的重要性是不言而喻的，所谓输入是垃圾，输出也是垃圾。评价数据包括两个部分，一是客观数据，二是主观数据。主观数据主要依靠专家打分，即使是客观数据，由于统计口径不同，也难免存在缺失、冲突等问题，也要借助于外部专家的意见进行修正。

2.4评价方法

科技评价方法大致有单指标评价、复合指标评价、指标体系评价三大类。由于单指标评价和复合指标评价所提供的信息毕竟有限，一般在进行科技综合评价时采用指标体系评价方法。迄今为止，以多属性评价方法为主的指标体系评价方法已经有几十种，如主成分分析、灰色关联分析、TOPSIS、层次分析法、熵权法等等。无论哪个科技评价团队，也无法掌握大多数多属性评价方法，从评价方法的角度也必须征求外部专家的意见。

2.5评价组织

科技评价的规模有大有小，对于一些大型评价，由于评价对象众多，评价结果影响大，对评价工作的组织和管理也尤为重要，这方面同样也要征求有经验外部专家的意见，从而可以更好地提高评价工作的质量。

3.1评价的基本理论咨询

    在确定评价对象后，就要对评价进行理论分析。评价的意义和作用明显吗？评价的必要性如何？评价有哪些社会效应？评价有哪些积极的或消极的影响？是效率评价还是效果评价？评价结果可比吗？深入思考一下，评价这方面的问题其实挺多，比如大学排名和期刊评价，目前的评价机构已经不少，在没有革命性的理论出现之前，如果有新的机构要尝试做这项工作，有必要吗？评价毫无疑问都具有导向作用，现有的评价体系的导向与科技创新的本源导向一致吗？如果存在偏差，那么如何减少这种偏差呢？

3.2评价指标的选取

科技评价中，多属性评价占据非常重要的地位，而指标的选取是其中的关键环节。哪些指标可以用？哪些指标不可以用？指标的总体数量要不要加以限制？数量指标和质量指标如何均衡？有没有定量的指标筛选方法？指标的相关性与评价方法选取有何关系？指标数据获取的成本怎么样？

对于同一评价，不同机构或学者所选取的指标不尽相同，而且似乎都能说出其合理性，在充分征求外部专家意见的基础上，这方面在一定程度上是能取得共识的。

3.3评价方法的运用

主客观评价方法各有特点，主观评价方法能充分发挥人的能动性，客观评价方法完全依赖数据说话。有些学者因为主观评价存在人为因素而对其颇有微词，其实评价指标的选取、评价结果的运用都是人为的，评价是为人服务的，完全摒弃主观评价是不合适的。目前，主客观评价相结合是科技评价的发展趋势。那么，各种评价方法的优缺点如何？究竟应该选取哪些主观和客观评价方法？这些评价方法应该如何进行组合？可以在充分尊重外部专家意见的基础上进行综合。

3.4评价基本数据的赋值

    这是一项基础工作，比如对于一些难以量化指标的打分，一般由外部专家直接赋值。一些评价方法权重的设定，也需要聘请外部专家进行打分。层次分析法在构建两两判断矩阵时，也要征求外部专家的意见。

3.5评价初步结果的检验

由于评价的复杂性，评价结果的科学性和公正性在对外公布之前必须请外部专家事先判断。多属性评价的一个重大理论缺陷就是评价结果的数学检验比较薄弱，大多数评价方法根本就没有适用度的统计检验方法，少数评价方法如层次分析和主成分分析虽然都提供了适用度的统计检验，但是并不对评价结果是否合理负责。解决这个问题的思路是，评价结果出来后，最好请外部专家判断一下，是否和绝大多数人们的感觉一致？如果出现明显的误差，就要认真仔细分析原因。

4.1事先提供评价背景资料

    在科技评价中，要咨询的外部专家其实是大学科的专家为主，如果仅仅咨询科技评价领域的专家不仅范围太小，而且专家人数也相对较少，反而不利于集思广益。必须给外部专家们提供课题来源、评价目的、评价对象、评价者简介等基本资料，让他们了解基本情况。

4.2及时提供相关原始数据

    向外部专家仅仅提供文字资料是不够的，必须包括数据资料。这样有利于外部专家加深对评价对象的了解，对基础数据的质量也可以协助把关，从而有利于改进评价工作。

4.3及时提供评价方法或思路

数据和方法是科技评价中非常重要的两个方面，这两者任何一个方面存在偏差，都会严重影响评价结果。评价者向外部专家提供方法的目的，就是请外部专家对方法的选用和组合提出建议。现在的多属性评价的发展趋势，一方面是主观客观评价相结合，另一方面是用几种评价方法同时进行评价，最后将各种方法的评价结果进行组合，得到唯一的结果，又称为组合评价。任何评价者的学识都是有限的，这方面听取外部专家意见尤为重要。

4.4 视情况提供初步评价结果

对于评价初步结果，要视情况适时提供给外部专家，以供反馈，为评价者提供更多有价值的意见。对于一些结果比较敏感的评价，从保密的角度，似乎不宜公开。

5.1必须建立一套快速的响应机制

科研经费是有限的，专家的时间也是有限的，必须注意提高专家会议的效率。在开专家会议前，一定要做好准备工作；会议期间，要及时将专家的意见付诸实施，必要的话当场给出评价结果，供专家讨论，便于修正；会议结束后，要做好反馈和补漏拾遗工作。

现在通讯非常发达，许多评价方法都有专门的软件包，在准备充分的情况下，一两个小时就能给出结果，这大大提高了专家会议的效率。

5.2要充分尊重外部专家们的意见和建议

    所谓仁者见仁，智者见智，外部专家们可能提出完全相左的意见，一方面要让专家们充分表达自己的想法，另一方面评价者团队要注意充分吸收专家们的意见，采取科学的方法做好专家意见的综合。

5.3注重外部专家们不同背景的交叉

     学科背景、工作背景对做好评价工作是十分重要的。学科背景越广泛，工作背景跨度越大，对做好评价工作的作用越大。当然，外部专家人数越多，学科背景和工作背景的跨度越大，但考虑到科研经费和评价成本的问题，评价者可以根据具体情况决定聘请外部专家的数量。

5.4尽量减少外部专家们的负担

对于结果打分的评价，采取百分制打分肯定没有分级评价方便，让外部专家对某个评价对象打83分还是87分也许有点困难，但是让外部专家打良或者B可能比较容易。虽然后者区分度差了，但在评价对象数量较多的情况下，一样可以通过类似排序因变量模型的方法得到模拟权重，从而进一步进行百分制的精确评价。当然具体情况要具体分析，在科技评奖中，特别是限额奖励，有名额限制，必须注意区分度，此时只能请外部专家采用百分制打分。

在打分时，如果提供评价对象的翔实数据也有利于外部专家打分。在评价对象较多的情况下，外部专家只能对少数有影响的评价对象进行相对客观的打分，因为只有很少外部专家能够了解大多数评价对象的情况，此时提供必要的数据有利于外部专家的判断，减少外部专家的负担。

5.5评价阶段向专家提供初步结果要慎重

对评价者而言，用科技计量学评价结果与专家意见形成互补是最优的。如果事先给专家看了很多数据，会不会他们的结论就与评价团队接近？失去了专家评价的作用？给他们看多少数据比较合适？有没有最优度？在科技评价中，有时专家打分本身就是数据，作为评价的指标之一，专家在评价理论与方法上的意见也是非常重要的，为了帮助专家进行判断，提供一些原始数据给专家是合理的。为了防止初步评价结果对专家的干扰，在必须请专家对评价对象打分的情况下，最好不要向专家提供初步评价结果。

5.6关于匿名评价问题

在进行外部专家咨询时，采用匿名的方式肯定是不现实的，只有在进行同行评议时，才有必要考虑是否采用匿名的方式。与学术论文评审不同，无论是机构评价、学者评价还是学术期刊评价，一般只能做到单盲，因为外部专家知道具体的评价对象谁。对评价者而言，一般情况下也不宜向社会公布参加评价的外部专家，因此，科技评价中同行评议往往采用单盲方式。

    科技评价是一项复杂的系统工程，仅仅依靠评价者个人或团队的力量想做好评价工作越来越困难。外部专家的作用不能单单用来进行同行评议，还需要充分发挥他们在评价中的咨询和指导作用。要做好评价工作的组织和管理，提高跟外部专家沟通的效率，从而提高评价质量。

[1]朱志文 于晟. 对同行评议质量与公正性的探讨[J].地球科学进展，1998（2）：81-84

[2]王成红 何杰 刘克等. 关于同行评议专家定量评估指标研究的几个新结果[J]. 系统工程理论与实践，2004（2）：83-89

[3]吴述尧. 科学进步与同行评议[J]. 中国科学基金，2002(4):240-243

[4]刘益东. 超越同行评议的复合型学术评估法[J].自然辩证法研究，2004（1）：98-102

[5]朱作言. 同行评议与科学自主性中国科学基金[J].中国科学基金，2004（5）：257-260

[6]俞立平 潘云涛 武夷山. 科技评价中同行评议与指标体系关系的研究[J]. 科学学研究，2008（10）：927-931,921

[7]周晓光 张强. 模糊群决策中专家意见的汇总研究[J]. 北京理工大学学报，2009（10）：936-940

[8]孙晓东 田澎. 群决策中基于一致性强度的专家意见集结方法[J].系统工程与电子技术，2008（10）：1895-1898

[9]程家瑜. 技术预测中咨询专家人数、权重和评价意见的讨论[J]. 中国科技论坛，2007（5）：24-26

[10]吴坚 梁昌勇 李绩才. 群决策中专家意见的可靠性研究[J].合肥工业大学学报（自然科学版），2009（3）：366-368

 

                                2011.6.1 俞立平 于宁波

转载本文请联系原作者获取授权，同时请注明本文来自俞立平科学网博客。
链接地址：https://blog.sciencenet.cn/blog-45134-450573.html

上一篇：学术期刊客观赋权评价新方法——指标难度赋权法
下一篇：参加国际科技信息委员会夏季大会有感