本文是自己在阅读Nature上一篇报道的笔记。
    作者是Nature的编辑部，因此在很多地方采用第一人称。　　

副标题：
    叫好不叫座，尽管对开放式同行评议呈现出足够的热情，但是还没有被广泛接受，无论是作者还是邀请评议的科学家。

　　在2006年6月1日，Nature启动了开放式同行评议（open peer review）试验，目的是观察研究人员，无论是作为作者还是作为评阅者，对开放式同行评议的接受和认可，同时为Nature的编辑和出版者对传统的同行评议机制进行可能的变革进行模拟实验。
    在进行测试期间，很多研究人员和期刊工作者询问我们，这个试验是否反映出我们对目前现行的审稿机制不满意。恰恰相反，我们相信我们现行的机制工作正常，效果良好。在和作者不经意的调查中，发现作者对我们的审稿机制很满意，74%对该评阅机制进行的改进表示满意，20%未置可否，只有6%的作者对现行机制表示不满。
    但是，同行评议从来就是不完美的，需要让同行评议更能体现和达到学术团体的期望，此外，我们感到显示时探索更多参与性方法的时候了。

试验过程
    Nature每年收到大约10000篇稿件，我们的编辑不经同行评议就直接退稿60%（从Nature 1869年创刊以来，我们的编辑就是唯一的稿件是否发表的裁决者）。超过了编辑初审门限后的稿件才提交传统的质量评估过程（process of assessment）。在该过程中，编辑选择2位或者更多为仲裁人（referee），要求其对论文进行匿名的、发自内心的点评，之后编辑考虑这些点评意见，来决定退稿、修改和录用。到最后，录用率为大约7%。
    在进行开放式同行评议实验之前，我们在作者中进行了调查，调查结果反映出作者对开放式同行评议表现出极大的兴趣，因此我们在2006年4月1日到9月30日期间，邀请刚刚投稿并经过了编辑初审的作者，把其论文按正常的审稿流程处理外，经作者同意后还把这些论文提交到互联网的一个开放的服务器上进行公开点评。我们在公开显示点评之前，要逐条检查每一条点评，以避免潜在的法律问题或者或恰当的用词，结果是所有点评都不存在问题。所有的点评都要求署名。一旦某篇稿件的正常审稿流程完成（也就是所有的恳请审稿专家solicited referee的点评全部返回后），就整理互联网服务器上的点评，并把论文从互联网服务器上删除。
    在试验开始时，我们曾通过Email通知所有的Nature.com的注册用户和感兴趣的读者，进行了开放式同行评议试验的通告，并在试验过程中进行了多次通告。编辑还接触了一些特定领域的科学家，这些科学家被编辑认为对点评和自己相关领域的论文是感兴趣的。开放式同行评议试验的通告在试验期间在nature.com网站上一直被高亮显示。总之我们做了大量的工作，以引起潜在的关注开放式同行评议的人员的注意。
    4个月的实验后的2006年10月，我们进行了统计。

结果
    在试验期间，我们送出了1369篇论文，其中有71位作者（5%）同意在互联网公开论文接受公开点评。在这71篇论文中，33篇没有收到任何点评，剩余38篇（54%）共收到92条点评。在这些点评中，有49条点评集中于8篇论文，其它点评呈均匀分布。收到最多点评的论文的点评条数为10条(an evolution paper about post-mating sexual selection)。点评和公开上网时间没有必然的联系，收到最多点评数的论文均匀分布在整个试验过程中 ，最近发表的论文并没有明显的吃亏现象。
    该实验引起了可喜的在线流量，大约每周有5600个html页面访问，RSS的积极影响也与此基本相同。然而读者的兴趣没有转变为实实在在的点评。

学科分布
    我们把这些论文分为了15个领域。由于在互联网开放服务器上每个领域的论文数量很小，因此基于这些数字的推断带有很大的不确定性。
    公开论文的学科分布参见图1。大多数来源于地球/环境/气候科学和生态学/进化论，分别有14篇和13篇论文，之后是物理学，有11篇论文，天文学、免疫学、系统神经科学也占了很大的比重。
 
                                                           Figure 1: Papers by field
    和预期一样，在细胞学和分子学领域的论文较少。生物化学、化学、遗传学、内科、微生物学、古生物学、生态学没有论文愿意公开评阅。
    图2是每篇论文收到的平均点评条数的领域分布图。有10个领域平均点评数超过了每篇1个，分别是天文学、细胞生物学、地球环境气候、生态学、免疫学、分子生物学、神经系统科学、植物学和结构生物学。所有这些领域都有一篇或者两篇点评较多的论文。但是需要再次提醒的是这些论文的数量都是很小的。
 
                Figure 2: Comments per paper by field

编辑反馈
    每一条收到的点评被责任编辑分成5级：
    1. 彻底无用；
    2. 合理的，但没有有用信息；
    3. 有一些小的有价值的细节或观点；
    4. 和恳请审稿同行的意见一致；
    5. 对处理结果有直接影响
    每一条点评从两方面进行评价：技术价值和编辑价值（也就是从重要性和文法上进行评价）
    没有编辑给出的点评分数超过4分，只有4条点评得了4分，平均分数为：编辑价值2.6分，技术价值1.8分。也就是说，这些点评的编辑价值高于技术价值约50%。这可能是因为有几篇论文只收了编辑相关的点评。没有编辑报告说，这些点评影响了他们的录用决定。
    为了对这次试验进行定性评估，编辑们对结果进行了讨论，给出了以下观点：
    对这个实验漠不关心，得到点评有点虎口夺食（pulling teeth）的感觉。
    即便是直接尝试恳请点评solicit comment，恐怕也难有收获。
    生物学领域的编辑对那些竞争性强的领域表现出来的不愿参与一点也不表示惊讶。
    一些作者担心被剽窃或者处于专利考虑因素，不愿参与。
    一些潜在的点评者认为公开同行评议是“面子活”'nice to do'。
    编辑认为大多评议的价值很局限，大多都是通用的点评，例如：做的不错，而不是评价其过程。

作者调查
    对所有参与这个试验的作者都发了调查表。对64个人进行了接触，收到了27份答卷（42%）。
    20个被调查人认为这是一项有趣的试验。
    14个被调查者的论文收到了点评，4人认为这些点评没有价值，6人认为有点价值，4人认为很有价值。
    尽管很多被调查者在试验期间没有收到任何点评，但是其中有4人认为点评有价值，1人还认为非常有价值。
    有些作者表示了对可能遭受剽窃的关注，有些则表达了对没有收到任何点评的失望。
    在27个收到的调查表中，有11人表示对开放同行评议的偏爱。

注：
    原始出处：http://www.nature.com/nature/peerreview/debate/nature05535.html
    毋庸置疑，Nature的实验结果令人沮丧，但是本人从Nature开始进行这方面的实验（Elsevier 也在ScirnceDirect上正在进行类似的尝试）这一点坚定了对现行Peer Review体制是落后的方法的认识，目前Open Peer Review之所以没有取得预期的效果，是因为方案设计的缺陷造成的。对期刊同行评议系统改进的目的必须以能改进评议质量为前提， 这体现在两个方面：为某个期刊筛选出高质量文章和对手稿和研究提出有建设性的建议。
    PNAS（Proceedings of the National Academy of Sciences）采用的member/editor system似乎更符合目前大多数作者和审阅者的心理，member/editor方案是在论文被决定录用之前，评议是匿名的，只有当决定被录用时，才把对论文提出改进建议的评议者公开。PNAS的方式取得了不错的效果，并被PNAS作为自己的审稿体系。
    开放式审稿不能和把审稿意见公开划等号，开放式审稿的核心是把原来一篇稿件的命运交由少数几名评议者决定改为编辑根据更大范围的同行的评议意见来对稿件质量作出评价。
    目前基于评议专家开放范围的开放式评议得到了大家一致认可，但是目前的突破点是找到一种高效、可行的实施方案。Nature的开放评议试验失败的原因为：1）评议人员不愿意暴露自己，担心潜在“树敌”；2）评议人员没有得到应有的尊重，作为一般的访问者对待；3）把一般的读者按专家来对待。