求真分享 http://blog.sciencenet.cn/u/zlyang 求真务实

博文

NATURE 新文:同行评审不是检测错误和问题数据的最佳方式

已有 3386 次阅读 2022-11-26 15:51 |个人分类:科学 - 艺术 - 社会|系统分类:科研笔记

自古以来,没有先进的东西一开始就受欢迎,它总是要挨骂。

一万年以后,先进的东西开始也还是要挨骂的。

不是由于有意压抑,只是由于鉴别不清,也会妨碍新生事物的成长。

                            

NATURE 新文:同行评审不是检测错误和问题数据的最佳方式

                               

   前天(2022-11-24),Nature 刊出“To fix peer review, break it into stages 通过分阶段处理来改进同行评议”一文。给改进现有的同行评议提出了一些具体的观点。

Olavo B. Amaral 2022 NATURE  10.1038 d41586-022-03791-5.jpg

图1  Olavo B. Amaral 教授,巴西

https://www.nature.com/articles/d41586-022-03791-5

https://media.nature.com/w300/magazine-assets/d41586-022-03791-5/d41586-022-03791-5_23712976.jpg

                              

   下面汉语多为机器翻译。

                              

一、Olavo B. Amaral 的 Nature 观点摘录

   同行评审不是检测错误和问题数据的最佳方式。

   Peer review is not the best way to detect errors and problematic data. 

   它将严谨性的评估与期刊中值得篇幅的内容的策划混为一谈。第一个是保持科学记录的关键,而第二个是在印刷空间有限的时代形成的。

   It conflates the evaluation of rigour with the curation of what deserves space in a journal. Whereas the first is key to keeping the scientific record straight, the second was shaped in an era when printed space was limited.

   将同行评审分解为质量控制的模块化步骤可以改进已发表的科学,同时减少评审的负担。

   Breaking down peer review into modular steps of quality control could improve published science while making review less burdensome. 

   例如,可以采用计算机程序进行数据的基本检验(statcheck, SciScore,  GRIM, SPRITE , Carlisle )。并可以采用人工智能技术。

   目前的系统,同行评审耗费了研究人员数亿小时,但收效甚微。为了最大限度地提高效益,质量控制应该针对数据和过程,然后再转向文字和理论。辨别哪些数据是有效的是科学的基础,应该通过系统的方法而不是专家的意见来处理。

   the current system, in which peer review drains hundreds of millions of hours from researchers but delivers little. To maximize benefit, quality control should be aimed at data and processes before moving on to words and theory. Discerning which data are valid is fundamental to science, and should be approached through systematic methods rather than expert opinion.

                              

二、附录:2019 年 Richard N. Zare 的观点

   Richard N. Zare, Marguerite Blake Wilbur Professor in Natural Science and professor of chemistry at the Department of Chemistry at Stanford University. He is a former chair of the National Science Board of the National Science Foundation.

   Richard N.Zare,Margaret Blake Wilbur自然科学教授,斯坦福大学化学系化学教授。他是美国国家科学基金会国家科学委员会前主席。

   建议将那些高风险、高回报的项目,提交给一个有偿的专家组评审。该专家组被称为“评审责任人”。评审责任人不仅需要具有极高的学术声望,还要在学术领域具有一定的活跃度。他们对创新研究的风险具有充分、清晰的认识。对一个拟资助的项目,需要专家组中的一位专家作为该项目责任人。该责任人需要在一个足够长的时间段内单独对该项目的资助负责,以便该项目在后续能够通过其他方式获得资助,如基金会的常规项目或企业合作。每一位评审责任人的工作表现将定期进行评估,但该评估须在一个足够长的项目运行时间后作出。需要指出的是,评估不能仅建立在单个项目的成果上,而需要针对评审责任人所负责的所有项目成果。

https://news.sciencenet.cn/sbhtmlnews/2019/4/345573.shtm

         

三、现行的同行评议,就像《三体》里的程心:一个坑死人不偿命的圣母

人贵有自知之明。知之为知之,不知为不知,是知也。

            

   请看野兽般强硬的维德,怎样被程心的“同行评议”毁灭的:

   那好,立刻停止战争准备,停止一切抵抗,把所有的反物质子弹交给联邦政府,特别是你们那些潜入其他太空城的人,也立刻这样做!”

   所有战士的目光都聚焦在程心身上,像要把她烧毁一样。

   战士们聚焦在她身上的目光渐渐移开,转移到维德身上。那令她窒息的压迫感也一点点减轻,但她仍然难以呼吸。维德没有看任何人,只是盯着透明罩中那个放着程心头发的曲率驱动平台。那就像一座神圣的祭坛,程心可以想象,维德曾经把这些战士集合在这座祭坛周围,做出战争的决定。

   再考虑一下吧。”维德说。

   不需要考虑。”程心的声音异常决绝,“我再说一遍最后的决定:停 止抵抗,交出星环城中的所有反物质。”

   维德抬头看着程心,目光中又露出了那种罕见的无助和乞求,他一字 一顿地说:“失去人性,失去很多;失去兽性,失去一切。”

   “我选择人性。”程心说,环视所有人,“我想你们也是。”

   维德挥手制止了想对程心说什么的毕云峰。他的目光黯淡下来,有什么东西熄灭了,永远熄灭了,岁月崩塌下来,压在他身上,他显得疲惫无力。他用仅有的一只手扶着金属平台,吃力地在别人刚搬来的一把椅子上坐下,然后慢慢抬起手,指指面前的平台,低垂着目光。

   在随后进行的太阳系联邦法庭审判中,托马斯·维德以反人类罪、战争罪和违反曲率驱动技术禁止法罪被判处死刑。

   三天后,在一道强激光中,托马斯·维德在万分之一秒内被气化。

                      

艺术家笔下正在二维化的太阳系.jpg

艺术家笔下正在二维化的太阳系_副本.jpg

图2  艺术家笔下正在二维化的太阳系,

下图为裁剪出的细节:似为在冥王星上看着太阳被二维化的罗辑

https://new.qq.com/rain/a/20220623A0BM6J00

                           

人贵有自知之明。知之为知之,不知为不知,是知也。

                

   杜牧公元825年的《阿房宫赋》:
   
秦人不暇自哀,而后人哀之;后人哀之而不鉴之,亦使后人而复哀后人也。

   黑格尔1822年在《Lectures on the Philosophy of History》里抄袭说:
   人类从历史中学到的唯一教训,就是人类无法从历史中学到任何教训。

   网传晚清小说家刘鹗说:“天下大事,坏于奸臣者十之三四;坏于不通世故之君子者,倒有十分之六七也!”

   Socrates: 我知道:我什么都不知道。 http://en.wikipedia.org/wiki/Socrates

"I know that I know nothing. = I know one thing, that I know nothing."

   Plato: 我很无知。(求汉译) http://en.wikipedia.org/wiki/Plato

"On the other hand, I – equally ignorant – do not believe [that I know anything]."

                                    

   诚如《三体》所言:

   弱小和无知不是生存的障碍,傲慢才是”,大多数外星文明或已自我毁灭。

                                                

参考资料:

[1] Olavo B. Amaral. To fix peer review, break it into stages [J]. Nature, 611(7937): 637.   WORLD VIEW 23 November 2022

DOI:  10.1038/d41586-022-03791-5

https://www.nature.com/articles/d41586-022-03791-5

[2] 孙学军,2022-11-24,研究数据必需检查,但并非每篇文章都需要同行评审! 精选

https://blog.sciencenet.cn/blog-41174-1365068.html

[3] Richard N.Zare. 关于采用同行评议责任制的倡议[N]. 中国科学报,  2019-04-29 第1版 要闻.

https://paper.sciencenet.cn/dz/upload/2019/4/20194295461660.pdf

https://paper.sciencenet.cn/dz/dzzz_1.aspx?dzsbqkid=32340

https://news.sciencenet.cn/sbhtmlnews/2019/4/345573.shtm

[3-2] Richard N. Zare. The case for peer-informed review [J]. Chemical & Engineering News, 2019, 97(12):2-2.    March 23, 2019

https://cen.acs.org/policy/research-funding/case-peer-informed-review/97/i12

https://pubs.acs.org/doi/full/10.1021/cen-09712-editorial

https://pubs.acs.org/doi/pdf/10.1021/cen-09712-editorial

[4] 知乎,2020-02-28,如何看待三体里的「弱小和无知不是生存的障碍,傲慢才是」?

https://www.zhihu.com/question/27092518/answer/1043110876

[5] 新华社客户端,2021-01-06,美媒:大多数外星文明或已自我毁灭

https://baijiahao.baidu.com/s?id=1688127699579160811&wfr=spider&for=pc

[6] 参考消息,2021-01-06,美媒:大多数外星文明或已自我毁灭

http://www.cankaoxiaoxi.com/science/20210106/2431404.shtml

https://baijiahao.baidu.com/s?id=1688124366444054268&wfr=spider&for=pc

[7] Xiang Cai, Jonathan H. Jiang (蒋红涛), Kristen A. Fahy, Yuk L. Yung. A Statistical Estimation of the Occurrence of Extraterrestrial Intelligence in the Milky Way Galaxy [J]. Galaxies, 2021, 9(1): Article Number 5.

doi:  10.3390/galaxies9010005

https://www.mdpi.com/2075-4434/9/1/5/htm

https://arxiv.org/abs/2012.07902          (doi:  10.48550/arXiv.2012.07902)

[8] 科学网,2008-12-16,英国推出无同行评审的新型研究资助

https://news.sciencenet.cn/htmlnews/2008/12/214490.html

   Braben说,同行评审“会自动歧视那些挑战传统的意见,对大多数研究来说这没问题,但是对那些我们已知领域之外的新想法来说,同行评审可能对这些想法不利,而20世纪所有伟大的想法都是属于此类”。

[9] 科学网,2010-08-06,《科学家》文章:论文同行评审过程有待改革

https://news.sciencenet.cn/htmlnews/2010/8/235694.shtm

   传统同行评审过程最常见的弊端是它消极对待真正的创新思想,拒绝领域内具革命性的文章。另外,一篇文章的重要性几乎不可能很快地表现出来,真正评价一篇文章在该领域的影响需要数月甚至数年。

[10] 科学网,2015-01-12,科学家分析同行评审有效性

http://news.sciencenet.cn/htmlpaper/201511219413977135306.shtm

   同行评审在预测“良好的”论文方面是有效的,但可能难以识别出卓越和(或)突破性的研究。

   研究人员还发现这3份医学期刊曾拒绝了许多之后获得高引用率的手稿,包括14篇引用数量最多的手稿,而这14篇手稿中的12篇是被编辑退稿的。

[11] iPlants,2021-10-11,【PNAS】“同质化”论文暴增,从根本上阻碍了科学的进步!

https://mp.weixin.qq.com/s/oEFxMf4l8jNTpWkWYycB_w

[11-2] Johan S. G. Chu, James A. Evans. Slowed canonical progress in large fields of science [J]. PNAS, 2021, 118(41): e2021636118. October 12, 2021.

doi:  10.1073/pnas.2021636118

https://www.pnas.org/doi/10.1073/pnas.2021636118

                    

[12] 托马斯维德的出场与落幕

https://www.66152.com/article/202107/315608.html

[13] 你认为《三体》中最震撼的一句话是什么?

https://www.zhihu.com/question/385420567/answer/2111892398

[14] 腾讯,2022-06-24,不要返航,这里不是家!刘慈欣三体那些心碎的句子!

https://new.qq.com/rain/a/20220623A0BM6J00

[15] 托马斯维德,出自刘慈欣作品《三体III:死神永生》中的人物,百度百科

https://baike.baidu.com/item/%E6%89%98%E9%A9%AC%E6%96%AF%E7%BB%B4%E5%BE%B7?fromModule=lemma_search-box

[16] 2022-07-10,罗辑:“我在冥王星,见证太阳系的末日。”

https://www.bilibili.com/video/av770772529/

[17] 白马侯子,「三体深度解析之维德篇」前进!前进!不择手段地前进!

https://baike.baidu.com/item/%E6%89%98%E9%A9%AC%E6%96%AF%E7%BB%B4%E5%BE%B7?fromModule=lemma_search-box

https://haokan.baidu.com/v?pd=wisenatural&vid=1610378135406940573

相关链接:

[1] 2022-08-18,[汇集] “同行评议”阻碍创新的近年权威期刊的参考文献

https://blog.sciencenet.cn/blog-107667-1351670.html

[2] 2022-06-28,[汇集] “同行评议”阻碍原创与量化考核的局限性

https://blog.sciencenet.cn/blog-107667-1344936.html

[3] 2021-09-01,[负能量] “同行评议”妨碍创新的实证研究结果汇集(2019+)

https://blog.sciencenet.cn/blog-107667-1302382.html

[4] 2019-09-25,近年关于“同行评议”的大数据实证研究论文(汇集)

https://blog.sciencenet.cn/blog-107667-1199462.html

[5] 2020-01-20,Donald W. Braben:杀死同行评议,拯救人类文明!

https://blog.sciencenet.cn/blog-107667-1214979.html

[6] 2019-12-27,阻碍人类文明进步评审人,任其“逍遥法外”:真是对真理莫大的讽刺!

https://blog.sciencenet.cn/blog-107667-1211732.html

                        

[7] 2022-11-21,[?] 《三体3:死神永生》:程心,终于毁灭了大宇宙,迎接到永恒的死神

https://blog.sciencenet.cn/blog-107667-1364681.html

[8] 2022-11-09,[?] 《三体3:死神永生》:地球人选择程心 ≈ 选择自我毁灭?

https://blog.sciencenet.cn/blog-107667-1363018.html

[9] 2022-11-05,[?] 《三体3:死神永生》:程心

https://blog.sciencenet.cn/blog-107667-1362455.html

                  

感谢您的指教!

感谢您指正以上任何错误!

感谢您提供更多的相关资料!

                       

(热门)NATURE 新文:同行评审不是检测错误和问题数据的最 +1.jpg



https://blog.sciencenet.cn/blog-107667-1365409.html

上一篇:[请] 给岁月以文明,给岁月以文明,给岁月以文明
下一篇:水滴【吃饭的小勺子】【实用新型专利创意】:手机傻拍2022(24)
收藏 IP: 111.33.236.*| 热度|

16 王从彦 王涛 孙学军 檀成龙 尤明庆 孙颉 范振英 宁利中 杨学祥 郑永军 晏成和 钱大鹏 高宏 朱晓刚 史晓雷 许培扬

该博文允许注册用户评论 请点击登录 评论 (4 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-13 15:02

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部