在分析了(a)评委、(b)文章、(c)引用以及(d)项目的作用的基础上（http://blog.sciencenet.cn/home.php?mod=space&uid=3135216&do=blog&id=977907），我们可以从定义水准、正确引导、公平性和可操作性四个角度（http://blog.sciencenet.cn/home.php?mod=space&uid=3135216&do=blog&id=977013）来讨论这些评价体系的优劣。

   整体上来看，从定义水准的角度，大致上a>b>c>d。特别是，越往上流水准看，基于评委的评价体系越能定义水准，也最合理。这也解释了为什么大多数学术奖项都是基于评委的判断。所以大致上可以公认，对前三流科研工作和科研工作者的评价主要应该采用基于评委的评价体系，而且此时也能找到相对理想的评委。而对三流之后，基于评委的评价体系依然是最合理的。但由于评委资源有限，所以只能选用不那么理想的评委。比如大同行，从而导致定义水准的效果大大降低。所以，此时一般需要基于文章、引用或项目来辅助评判。如之前所讨论，文章、引用和项目只能作为参考，因为它们都是手段而不是目的。对于文章来说，最能体现水准的是文章质量，比如杂志和会议的分区。引用数同样能体现水准，但比文章的质量稍逊一筹。如之前所提及，引用的缺陷更多。基于项目的评价体系最不合理。很多很重要的科研工作，尤其是基础理论研究，并不需要太多项目支持，也往往是由一个或少数几个人做出来的。

   从更重要的正确引导做用来说，很遗憾，迄今为止，这几种体系都非常不完善，大致上a>c>b>d。尤其是基于文章和基于项目的评价体系，基本上会引导科研人员过于追求作为手段的文章和项目，而不是追求作为目的的真正意义上好的研究工作。追求引用看上去比前两者稍胜一筹，但也有限得很。因为这样会导致研究者更需要思考怎样才能让自己的工作引人注目而不是怎样去做最好的工作。而现在来看，这两者的差别越来越明显。做出真正意义上好的研究工作，往往需要兴趣、热忱、努力、专注、静心、执着、时间、支持，再加上能力以及稍许运气。然而，对于追求文章、项目和引用，或许抱团、跟热点和“老板”+“员工”模式是最好的选择。然而，由于理想评委资源稀缺，所以基于评委的评价体系在引导角度上也存在很多缺陷。

   从公平性角度来看，这几种评价体系各有千秋。从与其它因素无关的角度和透明性而言，b=c=d>a。文章、引用和项目都是有据可查，而评委或许带有个人倾向和感情色彩。从不可操纵性来讲，三者都比较差。项目容易产生小圈子；评委容易有个人倾向；文章可以灌水；引用也可以相互交换。也许从这点上讲，基于理想的评委和基于文章质量的评价体系是相对最佳选择。从不同学科特性和多样性来讲，基于评委的评价体系稍微胜出，大致a>b>c>d。  

   从可操作性角度来看，d>c>b>a。对于学校学院而言，项目的情况一清二楚，而且数量和种类也不会很多，所以很容易判断，简单易用。文章和引用相对于项目而言，稍微难判断一点，毕竟种类、学科档次众多。因此，最近各种排名，分区，影响因子计算等，如雨后春笋般应运而生。在此基础上，基于文章和引用的评价体系操作起来也相对容易了不少。反之，基于评委的评价体系需要大量人力资源，所以在这几种体系中最难操作。

   综上所述，很遗憾地说，之上所述的科研评价体系中没有一个是完全合理且公允的。虽然总体上看来基于评委的评价体系要优于其它三者，但是由于很难找到理想的评委，所以在实际操作中存在很多问题。比如比起小同行来说，大同行的评价的误差太大。而更远一点，即使是一个顶尖科学家对于另外一门科学的评价几乎靠猜。同样，一个刚懂得皮毛的研究人员对超一流工作的评价也几乎靠猜。更别说评委们也许有个人倾向以及利益冲突了。

   所以，在很多时候，都是综合其中几种评价体系来使用。一般来讲，现有的情况是不那么理想的评委基于自身知识、再结合文章、引用和项目来评价。首先，粗暴地结合几种评价体系会适得其反，会导致既要求文章，又要求引用，还要要求项目，末了还需要和可能的评委搞好关系，使科研工作者疲于奔命。同时，这种方法往往在结合了几种体系的优点的同时，也结合了它们的缺点。比如，文章数量、项目个数、H-index等参数等看上去很有直观说服力，以至于相对外行的评委们的眼球很容易被这些所吸引，而以此基础作为判断。然而，正如之前所讨论的，这些都不能很好地评价科研工作和科研工作者的好坏。所以，这样的体系可操纵的空间很多。而从最重要的引导作用来说，会引导研究者去追求这些表面上的数据，而不得不放弃真正需要专注、静心和时间的重要研究。

   问之：何也？答曰：为了生存。