当前的众多科研评价体系中，相对合理和公允的大致可以分为四类：（a）基于评委意见的评价体系、（b）基于文章的评价体系、（c）基于引用的评价体系以及（d）基于项目的评价体系。除此之外，还有一些不那么健康的，比如基于职位、派系、出身、资历、背景、关系、平衡、运作等等。

   即使是这四类相对健康的评价体系，也可以进一步细分成很多子类。比如基于评委意见的体系，按照科研兴趣划分，评委可以是小同行、大同行、外行科研工作者、以及普通大众等；按照地域和所属单位划分，可以是本系或学院、本学校、国内以及国际等；同时也可以按照头衔或学术水平划分等等。基于文章的评价体系，可以是基于数量或质量。基于引用的评价体系，可以根据引用数、H-index、或者这些的加权。基于项目的评价体系，同样可以划分为项目数量、质量、金额总数之类，不一而足。

      为了分析这几种评价体系的优劣，我们需要弄清楚评委、文章、引用以及项目在科研中本来应该起的作用。        

   评委，顾名思义，就是用来评价科研工作和科研工作者的。在理想的情况下，这当然是最好的选择。一个理想的评委应该是小同行、学术水平足够高、没有利益冲突且不带任何偏见及个人倾向。然而，这是一个现实世界，评委们也是人，大多情况下也是俗人，免不了利益冲突，七情六欲。一般小同行之间抬头不见低头见，更难免会有利益冲突和个人倾向。此外，评委们都是很忙的，也不能把大量时间用来做评价工作。所以很多时候只能退而求其次，选用不那么理想的评委，比如大同行或外行，这样就导致效果大打折扣。再有一个问题，评委们的标准设置往往是不一样。比如有的评委喜欢做老好人，而有的要求比较苛刻。所以在现实中，过于强调评委的评价体系，会导致抱团、派系、平衡、关系、协商、甚至互相贬低、恶意攻讦等等。

   文章，是科研工作者用来交流科研工作的主要手段。科研工作水准有高有低，所以文章也有高下之别。文章一般发在杂志或者会议之上，杂志会议也有档次区分。因为杂志会议一般都有审稿人，而且尽量是小同行。从这个意义上来说，基于文章评价体系也是间接基于评委的评价。这也是为什么文章可以作为一个评价科研的参考标准。但是，很重要的一点，文章仅仅只是手段而已。它并不是也不应该是科研工作的目的¹。所以，过于强调文章的评价体系，容易导致本末倒置而舍本逐末，纯粹以发文章为目的而发文章。也会导致跟风和短平快的研究盛行，甚至挂名、抱团、相似工作重复发表等现象。在基于文章的评价体系中，较为合理的是基于文章质量。而基于文章数量的评价最不合理，绝大部分文章并不值得发表。而发表大量无意义的文章实际上是对科研资源的一种极大浪费。此外，另一个极为不好的负面作用是会导致科研工作者负担过重，容易过劳死。正如我们之前所提到的，根据DBLP，最近二十年计算机科学的文章总体数量多了数十倍。而效果如何，大家有目共睹。再者，基于文章的评价体系对某些应用研究并不是最佳的选择。在这些领域，比如机器人，文章应该远远没有实际的技术或产品重要。

   引用，是一篇文章在需要参考另外一篇文章时所提及，所引用的也一般是小同行的工作。乍一看上去，引用似乎比文章作为评价标准更合理，因为引用了一篇文章至少代表某种程度上作者关注了该文章，所以算是某种程度上的影响力。然而，引用（即使不算自引）作为一个评价标准存在大量缺陷。第一、不同学科、学科内不同方向的引用次数差别巨大。第二、引用受马太效应影响太严重。很多引用并不完全是因为被引用的文章特别好特别重要，而很有可能是作者比较出名，或者在该领域有地位，或者是可能的审稿人等等。第三、引用过于倾向于热门和跟风研究。这并不是说这样的研究不好，而是说不能所有的鸡蛋放在一个篮子里面。第四、事实上，重要但不容易懂的工作比不重要但通俗易懂的工作引用要少很多。第五、引用较为容易被操纵，比如抱团。第六、某些突破性工作引用积累可能需要很长时间，所以刚开始引用数不高。第七、往往一些综述性的文章会引用数比较高。第八、引用的时候不一定是赞同，也有可能是反对。第九、引用数相对较小的时候，文章质量的差别并不那么明显。高引用，或许只是在一个正确的时间发表在正确的地方，傍了正确的人而以。所以，引用虽然和科研工作重要正相关，但由于缺陷太多，仅能作为参考而不能作为标准。此外，基于引用的评价体系导致的一个有趣的现象。在没有正式成为标准之前，这是相当合理的评价体系。很遗憾，一旦被指定成为标准，很快就堕落成了不合理的评价体系了。这也是某些评价体系的通病。

   项目，是用来提供科研工作中必要的支持，比如器材、学术访问、开会、人力资源等等。和文章类似，由于项目也是通过评委来评价的，并且很多时候更加困难，再加上和当代最重要事物之一的孔方兄联系紧密，所以也用来作为评价科研的标准。然而，项目是用来支持研究而不是用来支配研究的，不应该用来定义研究工作和研究工作者的好坏。拿项目的情况在不同的学科，学科内不同的方向大有区别。此外，拿了很多项目却没做出什么像样工作的研究人员与没拿项目却作出成绩的研究者相比，一方面对科研贡献少很多，而另一方面对资源的索取反而大很多。过于强调项目的评价体系，会导致跟风研究，拉关系抱团以及所谓政治盛行，也会导致现在广泛存在的“老板”---“员工”模式，即某一个或几个“老板”主要负责拉项目，而招一帮“员工”来做真正的学问。同时，也对基础、理论研究（比如数学）来说很不公平。

   综上所述，文章、引用及项目可以作用评价的参考，但是不能作为标准。而如果评委足够理想，那基于评委意见的评价该体系最为合理。很遗憾，很多时候我们找不到理想评委。

                                                                                                                                                                                                                                                                                                                     （未完待续）

注1：做科研的最终目的是为了拓宽人类的视野、扩充人类的知识。之后我们会详细分析。