现在我们分析之前所提出的“基于评委的加权公开科研评价体系”（简称评委加权体系）（http://blog.sciencenet.cn/home.php?mod=space&uid=3135216&do=blog&id=987985）的优劣。更具体一点，该评价体系是否能够满足当初设定的目标（http://blog.sciencenet.cn/home.php?mod=space&uid=3135216&do=blog&id=977013），即准确评价、正确引导、公平性以及可操作性。

I准确评价

 必须承认的是，评委加权体系在准确评价科研工作上依然有所不足，尤其是对于真正原创、顶级的、完全超出当代同行所能理解范畴的科研工作（比如相对论）。其原因在于，该体系还是基于评委的。如果没有任何当代同行能够理解该工作，该工作在评委加权体系中会很吃亏。对于这样的工作，个人的看法有如下几点：1、这类工作极其稀少。2、一般意义上，完全没有同行能够理解这种事情几乎不可能发生。即使是相对论，也有那么几位顶尖科学家相对较早就意识到了它的价值。所以，在评委加权体系中，有“他人提名”这个措施，在有3位n流科研工作者认可的情况下，可以提名某工作为n流（其主要完成人可以是任何流）。当然，可以进一步改进这个机制以至于不会有沧海遗珠之憾。3、没有一定的积累，或者不是超级天才，一般不要轻易尝试做这样的工作。如果有了一定的积累，根据我们衰减函数的设置，评委加权体系是允许牛人尝试这类型工作的。4、如果既无积累，又要强行提出自认为超一流的工作，就要做好得不到别人承认的心理准备。最终，时间会评价一切的。

 但是，从正确评价方面来看，评委加权体系是现有评价体系中最能接近时间这个终极评价体系的。毫无疑问，在准确评价科研工作方面，基于公正评委的体系要甩出基于参数（包括文章、引用、项目等）的体系好几条街。这些参数都只能作为参考，而作为主要评价的依据，则失之毫厘，谬以千里。而评委加权体系，能够解决现有基于评委的体系中几个关键缺陷。1、评委数不够。在该体系中，所有科研工作都在平台上公开评价，所有人都可以评价。而且，可以采用邀请、随机抽取、特别指定等多种方式提名评委，不存在评委数不够的问题。2、评审不够透明。在评委加权体系中，评委的评价是半公开的，即统计数据公开，但具体某次评价不公开（防止结仇）。而且如果出现重大过失，评委评价是需要公开的。所以，在这些限制下，评委在评价的时候会更加慎重。3、利益冲突、外行评价等问题。在该体系中，评委的评价是有权值的，与评委和工作的相关系数成正比（给小同行评价更多的权重），与评委和工作的冲突系数成反比（给有利益冲突的评价更少权重），与评委的水准的成正比（给科研水准高的评委更多权重），与评委的过往评价记录成正比（给评价记录好的评委更多权重）。

II正确引导

 比起准确评价科研工作来说，正确引导科研工作者某种意义上更加重要。根据时间这个终极评级体系，科研评价体系应该引导科研工作者去追求真正意义上的突破，而不是做一些重复性的灌水工作。事实上。一个科研工作者，如果一辈子有那么一个能够被记住的科研工作，那就已经不虚此生了。

 基于参数（包括文章、项目以及引用）的评价体系，虽然表面上看来有引导功能，但实际操作上往往容易导致本末倒置，与原来的目标完南辕北辙。表面上，一般来说，好的工作自然发在好的地方，引用也会多，也一般会有项目支持。但是，因果关系不是相关关系，不能弄反。如果以这些参数（包括文章、项目以及引用）为主要目标，那么达成这些目标更容易的方式并不是做最好的工作（这往往需要苦心经营），而是抱团、灌水、原地重复踏步、更风等等。由于人性自然而然会趋利避害，而研究工作者大多也是普通人，所以大家的选择往往是努力去经营这些参数，而不是潜心去做真正重要的研究。这也是现有评价体系的最大弊端，以及现在学术界最大的悲哀。

 评委加权体系能一定程度上解决这个问题。首先，参数（包括文章、项目以及引用）仅仅作为参考，而不是评价标准。这样能很大程度上避免纯粹追求这些参数的现象。我们应当鼓励评委们以学术水准，而不是参数来评价研究工作。根据时间这个评价标准，质量比数量重要太多，甚至数量完全没有用处。其次，评委加权体系中的很多机制，包括给高水准评委更多权重，衰减周期用来支持深入研究，给高水准工作更长的衰减周期，甚至在公共平台上彰显研究工作水准等等，都极力鼓励研究工作者去追求更高的水准，而不是停留在某一水准上发更多的文章。

 然而，评委加权体系在正确引导上也有缺点。由于归根结底，我们的体系还是依赖于评委。评委是人，也会犯错误，也会有偏见，也难免会倾向于自己的亲朋好友等等。所以，我们的体系也会引导研究工作者尽量保持良好的关系，尽量不去得罪人等等。因此，在我们的体系中，引入了冲突指数、评委过往评价准确率、以及公开评价统计数据等方法来约束评委，以期评委能在评价的时候尽量仅仅考虑学术因素。同时，所有人都能参加评审，也大大减低了关系所带来的破坏力。

III 公平性

 如之前所论述的，公平性包括很多方面（见http://blog.sciencenet.cn/home.php?mod=space&uid=3135216&do=blog&id=977013）。前三个方面来看，评委加权体系依然依赖于评委们的判断力和自律性。如之上所论述的，在该体系中，引入了很多机制来约束评委，以期评委在评价的时候能更坦诚，仅考虑学术因素。同时，所有人参评也能减低不公正评委所带来的风险。当然，这并不能保证完全公平。但至少，该体系要比现有的基于少数几个评委以及基于参数的体系要公平很多。在某种意义上可以防止评委们胡乱评价。而在公开透明方面，评委加权体系所有信息（除了评价本身是半公开）都是公开的，也在平台上完全透明。

IV 可操作性

 最后，评委加权体系是可操作的。平台搭建以及所用到的算法也并不复杂，而且还能省去评委异地评审的舟车劳顿之苦。这也许是它唯一胜过时间这个评价体系的地方了。

总而言之，评委加权体系虽然仍存在一些不足，但比起已有的简单基于评委的体系以及基于参数（包括文章、项目以及引用）的体系，更能准确评价科研工作，更加良好引导科研工作者，更加公平，也更加接近于时间这个终极评价体系。