“同行评议”正在阻碍科技进步？

（1）科学网，科学家分析同行评审有效性

Lisa Bero 来源：PNAS

2015-01-12

http://paper.sciencenet.cn/htmlpaper/201511219413977135306.shtm

       近日，刊登在美国《国家科学院院刊》上的一项研究，分析了科学同行评审的有效性，研究人员表示，同行评审在预测“良好的”论文方面是有效的，但可能难以识别出卓越和（或）突破性的研究。

       同行评议是评估和酝酿科学研究的主要机制。尽管人们广泛认为同行评议对科研评价而言必不可少，但同行把关出现错误的轶事证据在各主要期刊十分多见，例如拒绝了有创意的贡献却接受了平庸的报告。目前，有关同行评议有效性的系统性证据仍不足，主要原因是被期刊拒绝的论文手稿一般不对外公布，通常难以获得相关信息。

http://www.pnas.org/content/112/2/360.abstract

Measuring the effectiveness of scientific gatekeeping

Kyle Silera,1, Kirby Leeb, and Lisa Beroc

Author Affiliations

Edited by Susan T. Fiske, Princeton University, Princeton, NJ, and approved November 18, 2014 (received for review September 21, 2014)

（2）黄晓磊，基金资助不鼓励创新 & 如何改进资助模式

2012-12-12

http://blog.sciencenet.cn/blog-111883-642050.html

      2012年12月6日的Nature杂志发表了一篇有关基金资助的评论文章，编辑部同时配发了一篇社论。这篇文章重新刺激了关于基金资助模式的讨论。大部分资助机构所采用的基于同行评审的基金资助模式被越来越多地认为倾向于鼓励“从众行为”甚至“平庸之辈”，虽然可能是事实，但这个看法需要更多数据和实证研究的支持。斯坦福医学院的John Ioannidis和弗吉尼亚理工的Joshua Nicholson找上了美国国立卫生研究院（NIH），这个世界上最大的生物医学资助机构（2002至2011年，NIH资助了大约460,000个项目，总经费约2000亿美元；2012年财政额度为约310亿美元），想看看最有影响力的生物医学科学家是否被NIH资助。

       很有意思，他们发现在8752名NIH项目评审委员中，只有0.8%（72名）发表了引用超过1000次的论文；但在这72人中，89%（64名）正在承担NIH项目。然而，在引用超过1000次论文的美国作者中，94%的人并没有担任NIH项目评审委员。这些数据说明：大多数NIH项目评审委员正承担NIH项目，虽然他们中只有极少人发表了高引用论文。基于随机选取的200篇引用超过1000次的论文，Ioannidis和Nicholson发现只有39.7%（104 / 262）的美国作者正承担NIH项目。也就是说，大部分有影响力的工作并没有获得NIH资助。

http://www.nature.com/nature/journal/v492/n7427/full/492034a.html

Research grants: Conform and be funded

Joshua M. Nicholson& John P. A. Ioannidis

AffiliationsCorresponding author

Nature 492, 34–36 (06 December 2012) doi:10.1038/492034a

Published online 05 December 2012

（3）武夷山，“大概近似正确”的评价

2015-01-23

http://blog.sciencenet.cn/blog-1557-861961.html

       在基于指标的科研评价中，上述5种错误源都存在。第一种是偶然性。我们从数据库中随机抽出的样本真的能反映全体吗？更别说，一个数据库收录哪些期刊，剔除哪些期刊，也受偶然因素影响。第二种是罕见性。例如，真正创新的理念仿佛“横空出世”，往往被多数专家认为是错误的，即它们在早期获得的是负面评价。Kao（高锟）和 Hockham于 1966年发表的关于光频率介质纤维表面波导的论文一开始的遭遇就是这样。

       比利时情报学家、国际科学计量学与信息计量学学会会长罗纳尔德.鲁索教授有一篇已被JASIST接受的稿件，题目是 Citation data as a proxy for quality or scientific influence are at best PAC (Probably Approximately Correct)（作为质量或科学影响力替代指标的引文数据充其量是大概近似正确的）

您的看法？感谢您指正错误！

相关链接：

[1] 2015-01-03，Zenas公理被外国人实证！（提出的沿革）

http://blog.sciencenet.cn/blog-107667-856131.html

[2] 2014-06-11，炒冷饭：普朗克定理 Planck Theorem

http://blog.sciencenet.cn/blog-107667-802432.html

[3] 2014-08-14，“同行评议”：伤心，从科学到政治

http://blog.sciencenet.cn/blog-107667-819568.html

————————————————————————————

真理（客观规律）是客观的，不是主观的！

100个雷锋，任你再独裁，还是雷锋精神；

100个强盗，凭你再民主，还是强盗逻辑！

第一位的是个人观点的正确性。

普朗克定理：

一个新的科学真理的胜利，不是通过说服其反对者让他们明白过来而实现的，而是由于其反对者最终死去，与此同时熟悉这个真理的新一代成长起来了。