求真分享 http://blog.sciencenet.cn/u/zlyang 求真务实

博文

同行评议“没什么用”的新报道

已有 1494 次阅读 2020-5-8 13:21 |个人分类:科学 - 艺术 - 社会|系统分类:科研笔记| 同行评议, 没用, 预印本, 发表, 差异

客观规律是客观的;独立于人而客观存在。

                    

同行评议“没什么用”的新报道

        

    现行的同行评议

    (1)阻碍原创

    由于“一切真理开始时总是在少数人手里,总是受到大多数人的压力。这是一个规律。”所以同行评议具有扼杀原创的天然特征或倾向。

    (2)不能有效剔除劣质作品

    原本指望同行评议剔除劣质作品,但是亨德里克·舍恩(Jan Hendrik Schon)、皮耶罗·安韦萨(Piero Anversa)等典型事件表明,同行评议没有起到这个作用。

      

更具悲剧色彩的是,同行评议常见论文也没有明显的改进作用。

    善良的 Siler 在2015年1月13日在美国《国家科学院院刊》发表论文 Measuring the effectiveness of scientific gatekeeping,说:

    同行评审在预测“良好的”论文方面是有效的,但可能难以识别出卓越和(或)突破性的研究。

    可是,更新的研究表明:同行评议连这点都不一定能保证!  

   

一、2020-05-02,伪造同行评议,30余篇论文被撤!传统审稿模式再受质疑

http://news.sciencenet.cn/htmlnews/2020/5/439275.shtm

    关于同行评议的另一个不好消息是:据Science网站报道,一项最新研究表明,经过同行评审的论文质量仅比预印本文章提升了4%。

    除了上述Science报道的最新发现,2019年一项发表于《国际数字图书馆杂志》的研究也通过一种自动化方法比较了大量的预印本文章与其随后在相关期刊上的发表版本。

    这项研究涉及发表在bioRxiv上近2500篇文章,以及arXiv上的1.2万篇文章。最终得出的结论也是:预印本与正式发表版本论文的差异很小

  

相关原文:

[1] 2020-03-26, Do preprints improve with peer review? A little, one study suggests

https://www.sciencemag.org/news/2020/03/do-preprints-improve-peer-review-little-one-study-suggests

    The team found the mean score for quality of reporting was 68% for preprints, but rose to 72% for the peer-reviewed published version—a slight, though statistically significant, increase. More selective journals, as measured by journal impact factor, didn’t show bigger increases.

    The sample of preprints in Carneiro’s study may be too small to adequately represent the diversity of subdisciplines whose scientists post on bioRxiv, Goodman adds. But some support for Carneiro’s findings came in a separate study published in 2019 in the International Journal on Digital Libraries. It used an automated approach to compare a much larger number of preprints—nearly 2500 from bioRxiv, and more than 12,000 on arXiv, the physical sciences preprint server—with versions later published in refereed journals. The team employed statistical techniques to measure differences in the preprint and refereed texts and found little difference.

[2] Martin Klein, Peter Broadwell, Sharon E. Farb, Todd Grappone. Comparing published scientific journal articles to their pre-print versions [J]. International Journal on Digital Libraries, 2019, 20: 335-350.

https://link.springer.com/article/10.1007/s00799-018-0234-1#Sec32

https://doi.org/10.1007/s00799-018-0234-1

    We have shown that, within the boundaries of the arXiv corpus, there are no significant differences in aggregate between pre-prints and their corresponding final published versions. The picture for the bioRxiv corpus is very similar, but we do see a slightly larger divergence between pre-print and final published paper versions in this case, suggesting that varying disciplinary practices regarding formatting and copyediting can and do influence the degree of detected similarity between pre-print and final published articles.

              

二、2020-03-23 细数同行评审「十宗罪」

https://mp.weixin.qq.com/s/-DmoFGm__naOCxn8AIjL3A

    2. 找适合的审稿人难:杂志社要付很大的时间成本,而且日趋困难。审稿人的专业素质也较难满足技术的更新迭代和多领域的交叉融合。

    4. 同行是冤家:由于领域内经常存在多个研究者竞争的局面,不可避免的将同行间的排除性引入到了评审过程中,导致评审意见的不客观性和偏见。哈佛大学公布前哈佛医学院教授、再生医学研究中心主任Piero Anversa关于心脏干细胞研究论文造假,并长期对向他理论提出质疑的新兴研究学者进行打压。

   

三、再次回到真正的大专家

    1957:“历史上新的正确的东西,在开始的时候常常得不到多数人承认,只能在斗争中曲折地发展。正确的东西,好的东西,人们一开始常常不承认它们是香花,反而把它们看作毒草。哥白尼关于太阳系的学说,达尔文的进化论,都曾经被看作是错误的东西,都曾经经历艰苦的斗争。我们历史上也有过许多这样的事例。”“不是由于有意压抑,只是由于鉴别不清,也会妨碍新生事物的成长。因此,对于科学上、艺术上的是非,应当保持慎重的态度,提倡自由讨论,不要轻率地作结论。

    1962:“历史上常常有这样的事实,起初,真理不是在多数人手里,而是在少数人手里。

    1964:“一切真理开始时总是在少数人手里,总是受到大多数人的压力。这是一个规律。

           

参考资料:

[1] Enago英论阁,2020-01-08,申请科研项目如乐透中签?不如随机筛选?

http://blog.sciencenet.cn/blog-681387-1213386.html

    美国国立卫生研究院(NIH)和美国国家科学基金会(National Science Foundation)最先点出问题。这两所机构的申请成功机率低得不具鉴别度,审查人被迫在同样好的申请件中选出几个给予奖助。机构高层说得中肯:获得奖助就像中乐透,却没有乐透盲选省时省力公平的好处。

    目前适合的审查人越来越难求,成为同行审查制度的重大限制。

    国家要保障最“具有创造知识可能性”的项目得到发展机会。

[2] Jeffrey Mervis. Peering into peer review [J]. Science, 2014, 343(6171): 596-598. FEB 7 2014.

https://science.sciencemag.org/content/343/6171/596.full

   “Peer review is not predicting outcomes at all. And that's quite disconcerting. 同行评审根本无法预测项目研究的结果。这是相当令人不安的。

[3] 张章,中国科学报,2017-04-18,荷兰试点经费分配新体系

http://news.sciencenet.cn/htmlnews/2017/4/373758.shtm

    Scheffer和Bollen表示,目前经费竞争日益激烈,对青年学者尤为如此,而现有的同行评议体系十分无效且不公平,因为一些科学家得到大量经费,而一些人什么也没有。

    Jop de VriezeApr. With this new system, scientists never have to write a grant application again. [EB/OL], 13, 2017 , 3:00 PM

https://www.sciencemag.org/news/2017/04/new-system-scientists-never-have-write-grant-application-again

[4] 科学网,2015-01-12,科学家分析同行评审有效性

http://news.sciencenet.cn/htmlpaper/201511219413977135306.shtm

Kyle Siler, Kirby Lee, Lisa Bero. Measuring the effectiveness of scientific gatekeeping. Proceedings of The National Academy of Sciences of The United States of America, 2015, 112(2): 360-365. JAN 13 2015

http://www.pnas.org/content/112/2/360

[5] 科学网,2020-05-04,科学家的青年往事:“合同工”施一公与“穷教授”许田

http://news.sciencenet.cn/htmlnews/2020/5/439303.shtm

    科学没有“冷门”和“热门”之分,谁也不知道未来的世界会发生怎样的变化,所以以兴趣为导师、尊崇自己的内心,很重要。

相关链接:

[1] 2019-09-25,近年关于“同行评议”的大数据实证研究论文(汇集)

http://blog.sciencenet.cn/blog-107667-1199462.html

[2] 2020-01-19,俺不迷信“国际评审”(“同行评议”的局限性)

http://blog.sciencenet.cn/blog-107667-1214882.html

[3] 2020-01-20,Donald W. Braben:杀死同行评议,拯救人类文明!

http://blog.sciencenet.cn/blog-107667-1214979.html

    布拉本教授认为,1970年代对研究建议的审查的引入导致了缺乏重大科学发现。

    理查德·罗伯茨爵士(Sir Richard Roberts)是1993年诺贝尔生理学或医学奖得主。他声称决策者更愿意将钱分配给他们知道会取得成果的研究,因为他们“主要是希望再次当选”,资助那些对国家好的”研究。

[4] 2020-01-08,1970年以后人类数学、物理学的停滞不前:“同行评议”的直接作用?
http://blog.sciencenet.cn/blog-107667-1213380.html
[5] 2019-12-02,[随笔] 科技“同行评议”引发美国《大停滞》?
http://blog.sciencenet.cn/blog-107667-1208480.html
[6] 2019-12-21,爱因斯坦“奇迹年”的直接原因:没有“同行评议”
http://blog.sciencenet.cn/blog-107667-1210941.html

          

推荐阅读:
[1] 武夷山,2010-08-04,科研四阶段与科学家四类型 精选
http://blog.sciencenet.cn/blog-1557-349810.html
    第一类(处于科研第一阶段)科学的使命,是向世界引入新概念和新设想,如DNA双螺旋结构。
    第二类(处于科研第二阶段)的科学家往往被第一类科学家所聘用,他们鼓捣出一些工具或语言来开发第一阶段的成果。
    第三类(处于科研第三阶段)的科学家利用第二类科学家开发的工具来回答新问题,从而获得新启示并引出又一批新问题。
    第四类(处于科研第四阶段)的科学家记载下已有知识,并将知识付诸实际应用。
    第一类科学的课题申请经常被拒,因为评审者的主体可能是第三类科学家。这是科学界的一个大问题!!!

                          

感谢您的指教!

感谢您指正以上任何错误!

感谢您提供更多的相关资料!

           

多余的话:

 [1] 2018-09-29,最恐惧:把谬误当成真理

http://blog.sciencenet.cn/blog-107667-1137744.html

    我们所努力坚持的,是谬误?还是真理?

    最恐惧的是,把谬误当成真理。进而真诚地捍卫谬误,真诚地仇恨真理。

    福楼拜说:“大地有其边界,人类的愚蠢却没有尽头。”Gustave Flaubert wrote that “Earth has its boundaries, but human stupidity is limitless.” 

    爱因斯坦说:“宇宙中唯有两件事物是无限的:那就是宇宙的大小与人的愚蠢。对于前者我并不肯定。 ” ???? 

    苏格拉底:“我唯一知道的,就是我的无知。”Socrates, "I know that I know nothing. = I know one thing, that I know nothing."

    柏拉图:“我 - 同样无知 - 不相信[我知道任何事情]” “不知道自己无知,乃是双重的无知!”Plato,"On the other hand, I – equally ignorant – do not believe [that I know anything]." 

           



http://blog.sciencenet.cn/blog-107667-1232188.html

上一篇:利奇马之后的兔丝:卡片机傻拍2019(243)
下一篇:初冬即景(卫津路老校区):卡片机傻拍2019(244)

18 杨学祥 秦四清 曾杰 郑永军 苏保霞 檀成龙 李学宽 武夷山 刘炜 徐长庆 宁利中 张学文 王安良 刘德力 张勇斌 高友鹤 刘进平 张忆文

该博文允许注册用户评论 请点击登录 评论 (48 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-7-4 21:13

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部