求真分享 http://blog.sciencenet.cn/u/zlyang 求真务实

博文

[新闻] Science 发文:同行评议偏见的定量实证

已有 1408 次阅读 2022-9-20 16:17 |个人分类:科学 - 艺术 - 社会|系统分类:科研笔记

一切真理开始时总是在少数人手里,总是受到大多数人的压力。这是一个规律。

一万年以后,先进的东西开始也还是要挨骂的。

不是由于有意压抑,只是由于鉴别不清,也会妨碍新生事物的成长。

“而我们自己则往往是幼稚可笑的,不了解这一点,就不能得到起码的知识。”

学习,学习,再学习。用人类创造的全部知识财富来丰富自己的头脑。

为我国2070年开始的诺贝尔科学奖“井喷”清除障碍、铺平道路!

客观规律是客观的;独立于人而客观存在。

我所追求的东西非常简单,我要以我微弱的力量,冒着不讨任何人喜欢的危险, 服务于真理和正义。

追求科学,需要有特殊的勇气。

                                                 

[新闻] Science 发文:同行评议偏见的定量实证

                                  

一、Science 2022-09-13 稿件《Reviewers award higher marks when a paper’s author is famous》的主要观点

SCIENCE 2022 Reviewers award higher 网页截图 2022-09-13.jpg

   为了测试“马太效应”,因斯布鲁克大学(University of Innsbruck)的 Jürgen Huber 领导的一个团队向大约 3300 名研究人员发送了电子邮件邀请他们审稿。其中 821 人愿意审稿。

   以同一篇稿件,采用不同署名的方式。该稿件的作者为 2002 年诺贝尔经济学奖得主 Vernon Smith 和他以前的博士生 Sabiou Inoua

               

第一步:

   在研究人员中只给出 Smith 名字,有 38.5% 的评审专家同意审稿;没有研究人员名字的人的数字是 30.7%;而研究人员只有 Inoua 的人的数字是 28.5%

               

第二步:

   没有收到作者姓名稿件的 313 名愿意审稿的评审专家,对有 Smith 名字的稿件,评审专家给出了高分。对于没有名字的稿件,24%的评审专家建议直接发表或小修后发表。而只有 Inoua 名字稿件的录用率只有 9.9%

                                             

   研究的结论:论文署名改为诺奖得主,接收率飙升 50%

   如果一篇论文的唯一作者是无名之辈,只有 9.9% 的评审人同意发表;同样一篇论文,如果改成由诺贝尔奖得主署名后,被接收率竟飙升至 59%

                                                                                          

二、感慨

   通过“随机摇号”来发表论文、分配资金,至少在原创类型的研究中,看来是很合适的。至少值得尝试一段时间。

   “同行评议”扼杀真正的创新,有了越来越多的当代证据。

   

   不仅仅是历史上牛顿不敌“同行评议”,现在也一样。

                             

三、1970年代开始,同行评议已经阻碍了人类文明进步?

   证据:

   (1)美国国家工程院评出的“20世纪最伟大的工程成就”共计20项,90%都是 1970年代以前完成的。

   (2)自1970年代后,所有的理论物理工作都还没有产生一个成功的预言。

   (3)美国电影协会世纪百部佳片(1896~1996),排名在前 60 位的佳片,几乎都是在1980年之前拍摄的!

   

   二战之后,人类的科技增长进入相对平缓的时期,明显表现出重大创新减少但一般性创新活跃的特征(Dong J、Li W、Cao Y等,2016)。能够基本上识别出良好科技成果的同行评议,在此条件下充分发出了积极的作用。这也引出一个问题:同行评议的制度化、社会化,和此时科技增长的平缓期出现,有没有内在的因果关系?换言之,同行评议是否扼杀或阻碍了重大科技成果的出现?

http://www.casted.org.cn/channel/newsinfo/7562

   可以对照的时间是,1970年代之后,同行评议步入制度化、社会化的阶段。

                  

感谢您提供其它的证据!

                     

参考资料:

[1] 中国科学报官方账号,2022-09-19,Science发文:论文署名改为诺奖得主,接收率飙升50%

https://baijiahao.baidu.com/s?id=1744348535463678717

[2] SCIENCEINSIDERSCIENTIFIC COMMUNITY, Reviewers award higher marks when a paper’s author is famous, “Matthew effect” is powerful, unusually large study finds, 13 SEP 20225:20 PMBYJEFFREY BRAINARD

doi:  10.1126/science.ade8721

https://www.science.org/content/article/reviewers-award-higher-marks-when-paper-s-author-famous

   The stark disparity might not surprise many researchers. But it is troubling, an author of the new study told the peer-review congress. “Identical work should not be evaluated differently depending on who wrote it,” said Christian König-Kersting, a behavioral economist at Innsbruck. “Because that makes it especially hard for younger and unknown researchers to get their foot in the door in the academic process.”

   这种明显的差异可能不会让许多研究人员感到惊讶。但这项新研究的一位作者在同行评审大会上表示,这令人不安。因斯布鲁克的行为经济学家克里斯蒂安·科尼格-克斯廷 (Christian König-Kersting) 说:“不应根据作者的不同对相同的作品进行不同的评价。” “因为这使得年轻和不知名的研究人员特别难以涉足学术过程。”

   Researchers who study bias in publishing have suggested double-blind reviews—in which the identities of both authors and reviewers are masked—might reduce the Matthew effect. But that tactic might not work, König-Kersting told the congress, given that reviewers can often identify authors from a preprint or conference presentation.

   研究出版偏见的研究人员建议双盲评论——作者和评论者的身份都被掩盖——可能会降低马太效应。但这种策略可能行不通,König-Kersting 告诉大会,因为审稿人通常可以从预印本或会议演示文稿中识别作者。

[3] 苗妮. 隐秘与主观盛行 谁来评议“同行评议”[N]. 中国科学报, 2013-09-25 第3版 国际.

https://paper.sciencenet.cn/sbhtmlnews/2013/9/278213.shtm?id=278213

https://paper.sciencenet.cn/dz/dzzz_1.aspx?dzsbqkid=18486

[4] Remco Heesen, Liam Kofi Bright. Is Peer Review a Good Idea? [J]. British Journal for the Philosophy of Science, 2021, 72(3): 635-663.

DOI:  10.1093/bjps/axz029

https://www.journals.uchicago.edu/doi/10.1093/bjps/axz029

[5] (苏)A.H.卢克 著,马约(署肖自力) 译. 科学史上的高水平人才[J]. 科学史译丛,1987(2):58-66. 

http://ir.ihns.ac.cn/handle/311051/6393

[6] 2022-01-14,废话的胜利:“精致而平庸”的论文是怎么发上顶级刊物的?

https://baijiahao.baidu.com/s?id=1721917651029877855&wfr=spider&for=pc

https://ishare.ifeng.com/c/s/v002Jp5DFzdH3lFRG5toTmcDqGnY9jd9wHZ--aSCNq19ynrA__

https://xw.qq.com/amphtml/20220114A0BWKK00

https://view.inews.qq.com/a/20220114A07CS700

[6-2] Dennis Tourish. The triumph of nonsense in management studies [J]. Academy of Management Learning & Education, 2020, 19(1): 99-109.

https://journals.aom.org/doi/10.5465/amle.2019.0255

[7] iPlants,2021-10-11,【PNAS】“同质化”论文暴增,从根本上阻碍了科学的进步!

https://mp.weixin.qq.com/s/oEFxMf4l8jNTpWkWYycB_w

[7-2] Johan S. G. Chu, James A. Evans. Slowed canonical progress in large fields of science [J]. PNAS, 2021, 118(41): e2021636118. October 12, 2021.

https://www.pnas.org/content/118/41/e2021636118

[8] 科学网,2012-06-27,丁肇中:我这一辈子做每个实验都有大量人反对

https://news.sciencenet.cn/htmlnews/2012/6/266143.shtm

   丁肇中说,他这一辈子做的每个实验都有大量的人反对。但科学的进展是多数服从少数,极少数人把大家的观念推翻了之后,科学才能向前走。所以科学不是靠投票解决的,可能一万人里有九千九百九十九人反对你,但不代表他们就是对的。

[9] 科学网,任春晓,2010-08-06,《科学家》文章:论文同行评审过程有待改革

https://news.sciencenet.cn/htmlnews/2010/8/235694.shtm

   传统同行评审过程最常见的弊端是它消极对待真正的创新思想,拒绝领域内具革命性的文章。另外,一篇文章的重要性几乎不可能很快地表现出来,真正评价一篇文章在该领域的影响需要数月甚至数年。

   同行评审出现了300多年,现在是时候进行改革了。在更广泛的领域进行透明和持续的评审能够减少传统同行评审的不足,而且可以使新发明和新发现在正式发表之前就受到关注。另外,“信誉系统”也许是确保评审过程完美的关键。

[10] 科学网,2008-12-16,英国推出无同行评审的新型研究资助

https://news.sciencenet.cn/htmlnews/2008/12/214490.html

   Braben说,同行评审“会自动歧视那些挑战传统的意见,对大多数研究来说这没问题,但是对那些我们已知领域之外的新想法来说,同行评审可能对这些想法不利,而20世纪所有伟大的想法都是属于此类”。

[11] 科学网,2009-09-16,研究证实带正面结果的论文更受评审人青睐 说明同行评审也无法避免主观和偏见

https://news.sciencenet.cn/htmlnews/2009/9/223423.shtm

   国际出版伦理委员会主席Liz Wager说:“这证实了同行评审是由带偏见主观的人所完成的。所有人都希望新东西起作用,他们就是想相信这些。”

[12] 科学网,2015-01-12,科学家分析同行评审有效性

http://news.sciencenet.cn/htmlpaper/201511219413977135306.shtm

   同行评审在预测“良好的”论文方面是有效的,但可能难以识别出卓越和(或)突破性的研究。

[12-2] Kyle Siler, Kirby Lee, Lisa Bero. Measuring the effectiveness of scientific gatekeeping. Proceedings of The National Academy of Sciences of The United States of America, 2015, 112(2): 360-365.     JAN 13 2015

http://www.pnas.org/content/112/2/360

[13] 李侠. 激励机制与评价决定基础研究的未来[N]. 光明日报, 2022年02月24日16版:新科技

https://epaper.gmw.cn/gmrb/html/2022-02/24/nw.D110000gmrb_20220224_2-16.htm

https://epaper.gmw.cn/gmrb/images/2022-02/24/16/2022022416_big.jpg

https://blog.sciencenet.cn/blog-829-1326756.html

   为了使上述激励机制的设计目标平稳落地,需要对基础研究进行细分。笔者曾根据研究的不确定性与难度把基础研究从0到1的突破划分为三个阶段,分别是:0~0.50.5~1以及1~N阶段。

   基础研究的0~0.5阶段的最大特点就是漫无目的的探索未知的研究,完全无法规划与预测,它理应由科学共同体中最具理想主义情怀的个体来承担,科学史的研究已经无数次证明这类人在任何时代都是比较稀少的,他们是基础研究队伍的核心圈层。那么,在这一阶段,国家只需要辅以不计任何回报的适当投入即可。

   在0.5~1阶段,由于研究的目标已经很明确,此时需要由那些持现实主义理念的科技共同体成员来完成,这是基础研究队伍中的基本盘(中间层),同时也是基础研究投入中的主战场,其绝大部分投入由国家提供,所谓世界范围内的科技竞争主要在这个阶段内展开。

   至于1~N阶段的基础研究,这部分研究属于基础研究成果横向扩散与拓展阶段,由于基本科学原理已经明确,它完全可以由基础研究团队中持功利主义理念的外围人员来完成,从而加快实现从科学原理向技术原理的转化,这些基础研究队伍中的外围人员通常是指那些介于基础研究与应用研究之间的科研人员,他们的归属方向完全由两个相邻研究领域的边际效用来决定,即哪个领域边际效用高向哪个领域转移,这种现象也是基础研究活跃度的重要检验指标,理想状况下,它的投入主体应该主要由市场来提供。

[14] 客观日本,小岩井忠道(科学记者),2022-05-30,确保人才和时间恢复研究实力,日本的政府支援劣于韩台等国家与地区

https://www.keguanjp.com/kgjp_keji/kgjp_kj_etc/pt20220530000003.html

   丰田列举了下面几项被认为导致日本研究能力下降的原因:“随着国立大学法人化,2004~2015年削减了基础运营补助,采取了选择与集中政策”;“2016年以后虽然维持了运营补助总额,但在动摇研究基础的张弛政策的指导下,部分大学进一步削减了教师数量”;“教育改革、社会贡献和诊疗等工作增加导致研究时间减少”;“要求短期内取得研究成果”、“教师和研究人员的短期聘用导致职业不稳定并失去吸引力”。这些几乎与10年前指出过的原因基本相同。

   丰田校长并没有彻底否定经常被研究人员诟病的“选择与集中”政策。他指出实施“选择与集中”是有意义的,但并不清楚能否顺利推进;他认为,对于难以预测的创新,应该广撒网,让大量研究人员做各种不同的研究,确定能顺利进行时实施“选择与集中”的方法比较合适。

                         

相关链接:

[1] 2022-09-14,[惊呆了] 比 Zenas 公理还狠:应废除出版前的同行评议。Prepublication peer review should be abolished.

https://blog.sciencenet.cn/blog-107667-1355299.html

[2] 2022-07-17,[小总结,崩溃] Zenas 公理:你什么时候失效啊!

https://blog.sciencenet.cn/blog-107667-1347631.html

[3] 2022-08-18,[汇集] “同行评议”阻碍创新的近年权威期刊的参考文献

https://blog.sciencenet.cn/blog-107667-1351670.html

[4] 2022-06-28,[汇集] “同行评议”阻碍原创与量化考核的局限性

https://blog.sciencenet.cn/blog-107667-1344936.html

[5] 2021-09-01,[负能量] “同行评议”妨碍创新的实证研究结果汇集(2019+)

https://blog.sciencenet.cn/blog-107667-1302382.html

[6] 2019-09-25,近年关于“同行评议”的大数据实证研究论文(汇集)

http://blog.sciencenet.cn/blog-107667-1199462.html

[7] 2019-10-09,[负能量] 同行评议缺点和消极作用的报道(汇集)

http://blog.sciencenet.cn/blog-107667-1201265.html

[8] 2021-07-24,Zenas 公理:2021年《Dynamics of Disruption in Science and Technology》里的图示

http://blog.sciencenet.cn/blog-107667-1296808.html

[9] 2020-08-21,[汇集] “同行评议”扼杀原创的权威观点

http://blog.sciencenet.cn/blog-107667-1247293.html

[10] 2019-12-06,同行评议“不靠谱”的本世纪一些典型事件

http://blog.sciencenet.cn/blog-107667-1209027.html

[11] 2020-05-27,[求证] 1970年代开始,人类科技进入了相对停滞期吗?

https://blog.sciencenet.cn/blog-107667-1235211.html

[12] 2022-03-13,[惊悚] 美国电影协会世纪百部佳片:1970年代后,人类怎么啦?

https://blog.sciencenet.cn/blog-107667-1329223.html

[13] 2020-01-08,1970年以后人类数学、物理学的停滞不前:“同行评议”的直接作用?

https://blog.sciencenet.cn/blog-107667-1213380.html

[14] 2022-05-18,[思考笔记] 为什么1970年之后人类科技相对停滞?

https://blog.sciencenet.cn/blog-107667-1339162.html

[15] 2021-10-15,[旧闻] 2014年 SCIENCE 杂志:“同行评议根本不能预测研究的成果。这令人非常不安。”

https://blog.sciencenet.cn/blog-107667-1308100.html

[16] 2020-01-20,Donald W. Braben:杀死同行评议,拯救人类文明!

https://blog.sciencenet.cn/blog-107667-1214979.html

                      

感谢您的指教!

感谢您指正以上任何错误!

感谢您提供更多的相关资料!

                          

—— 附录(1) ——

2020-01-12 科技资助评价:到底要不要“同行评议”?(要点).jpg

2020-01-12,科技资助评价:到底要不要“同行评议”?(要点)

https://blog.sciencenet.cn/blog-107667-1213897.html

参见上图,不论采用那种划分,都大体上是一种从“未知”→“已知”的变化趋势。

显然,在靠近“未知”的地方,应该淡化同行评议;

相反,在靠近“已知”的地方,应该强化同行评议。

                          

—— 附录(2) ——

人类科技史上的三个“奇迹年”,都没有“同行评议”

http://www.casted.org.cn/channel/newsinfo/7562

人类科技史上的 3 个“奇迹年 Annus mirabilis”,

作为现代科学诞生年的 1543 年(维萨里的《人体构造》和哥白尼《天体运行论》)、

1666 年(牛顿)

1905 年(爱因斯坦),

科学巨人们所创造的科学奇迹,

以及构成现代科技体系的大多数重大科技成果,

都不是在同行评议下完成的。

                    

   例如,爱因斯坦在1905年将他的四篇著名论文在《Annalen der Physik》发表,当时这些论文并没有采用我们今天所谓的同行评议过程。该杂志的接受率非常高(约为90%-95%)。有鉴别力的编辑对出版的内容做出最后的决定。

刘进平,2018-05-07,爱因斯坦奇迹年的5篇论文经过同行评议了吗? 精选

https://blog.sciencenet.cn/blog-39731-1112810.html

                       

   1905年是爱因斯坦的奇迹年, 这一年他写下了五篇改变物理学也改变世界的论文。这是100年后的2005年成为国际物理年的原因。爱因斯坦1905年4月完成了他这一年的第二篇论文“测量分子大小的新方法”,这就是他的博士论文。也许因为忙于他的若干革命性研究,特别是这个工作的后续研究,直到7月20日,爱因斯坦才将博士论文递交给苏黎世大学哲学学院院长(Dean, Faculty of Philosophy)。Kleiner 和 Burkhardt 两位教授负责审核。7月24日爱因斯坦获得博士学位。

   而在这之前,爱因斯坦博士论文的后续工作,即关于布朗运动的论文5月11日已经被 Annalen der Physik 杂志收到,当年发表。这是1905年他完成的第三篇文章。8月,爱因斯坦将博士论文投给同一杂志,次年发表。他1905年的另外三篇文章是:第一篇关于光量子假说,第四篇关于狭义相对论,第五篇关于相对论质能关系。全部发表在 Annalen der Physik。当时该刊拒稿率只有百分之几。

施郁,2016-08-01,爱因斯坦被拒授过博士学位和副教授职位吗?

https://blog.sciencenet.cn/blog-4395-993806.html

                                     

1673 年 31 岁的牛顿(Isaac Newton)为什么要退出英国皇家学会(The Royal Society)?

https://blog.sciencenet.cn/blog-107667-1328150.html

                     

(热门)[新闻] Science发文:同行评议偏见的定量实证 + (热.jpg



https://blog.sciencenet.cn/blog-107667-1356141.html

上一篇:[???] 热血沸腾之后,更是“耗尽/耗干”后的无奈(关联资料“集成电路”,诺伊斯 Robert Noyce)
下一篇:[小资料] 丁肇中:诺贝尔物理学奖得主几乎“没有一个考第一名的”
收藏 IP: 202.113.11.*| 热度|

该博文允许注册用户评论 请点击登录 评论 (10 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2022-12-3 23:42

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部