求真分享 http://blog.sciencenet.cn/u/zlyang 求真务实

博文

[建议] 放弃对论文的过度量化计量评价,增加公开的综合评价

已有 1325 次阅读 2024-11-14 23:49 |个人分类:科技教育界资料|系统分类:科研笔记

一切真理开始时总是在少数人手里,总是受到多数人的压力,这是一个规律。

自古以来,没有先进的东西一开始就受欢迎,它总是要挨骂。

一万年以后,先进的东西开始也还是要挨骂的。

                                

[建议] 放弃对论文的过度量化计量评价,增加公开的综合评价

                  

              

一、世界范围“颠覆性”创新的衰落

   (1)大量的常规论文,已经淹没了真正的创新。

   (2)国际顶刊带头“不创新”。

             

41586_2022_5543_Fig2_HTML.jpg

图1  颠覆性科学和技术的衰落

Fig. 2: Decline of disruptive science and technology.

a,b, Decline in CD5 over time, separately for papers (an = 24,659,076) and patents (bn = 3,912,353). For papers, lines correspond to WoS research areas; from 1945 to 2010 the magnitude of decline ranges from 91.9% (social sciences) to 100% (physical sciences). For patents, lines correspond to National Bureau of Economic Research (NBER) technology categories; from 1980 to 2010 the magnitude of decline ranges from 93.5% (computers and communications) to 96.4% (drugs and medical). Shaded bands correspond to 95% confidence intervals. As we elaborate in the Methods, this pattern of decline is robust to adjustment for confounding from changes in publication, citation and authorship practices over time.

【机器翻译】a、 b,CD5随时间下降,分别为论文(a,n=24659076)和专利(b,n=3912353)。对于论文,行对应于WoS研究领域;从1945年到2010年,下降幅度从91.9%(社会科学)到100%(物理科学)不等。对于专利,行对应于国家经济研究局(NBER)的技术类别;从1980年到2010年,下降幅度从93.5%(计算机和通信)到96.4%(药品和医疗)不等。阴影带对应于95%的置信区间。正如我们在《方法》中详细阐述的那样,这种下降模式对随着时间的推移发表、引用和作者实践的变化所造成的混杂因素的调整是稳健的。

From: Papers and patents are becoming less disruptive over time

https://www.nature.com/articles/s41586-022-05543-x/figures/2

https://www.nature.com/articles/s41586-022-05543-x

                  

41586_2022_5543_Fig5_HTML.jpg

图2  随着时间的推移,论文和专利的高质量科学颠覆性越来越

Fig. 5: CD index of high-quality science over time.

This figure shows changes in CD5 over time for papers published in NatureProceedings of the National Academy of Sciences (PNAS) and Science (inset plot, n = 223,745) and Nobel Prize-winning papers (main plot, n = 635), with several notable examples31,32,58,62,63,64,65,66 highlighted. Colours indicate the three different journals in the inset plot; colours indicate the three different fields in which the Nobel Prize is awarded in the main plot. Shaded bands correspond to 95% confidence intervals. For historical completeness, we plot CD index scores for all Nobel papers back to 1900 (the first year in which the prize was awarded); however, our main analyses begin in the post-1945 era, when the WoS data are generally more reliable. The figure indicates that changes in the quality of published science over time is unlikely to be responsible for the decline in disruption.

【机器翻译】此图显示了发表在《自然》、《美国国家科学院院刊》(PNAS)和《科学》杂志上的论文(插图,n=223745)和诺贝尔奖获奖论文(主图,n=635)的CD5随时间的变化,并突出了几个值得注意的例子3,32,58,62,63,64,65,66。颜色表示插图中的三种不同期刊;主情节中的颜色表示诺贝尔奖授予的三个不同领域。阴影带对应于95%的置信区间。为了历史的完整性,我们绘制了1900年(诺贝尔奖颁发的第一年)以来所有诺贝尔论文的CD指数得分;然而,我们的主要分析始于1945年后,当时《Web of Science》的数据通常更可靠。这一数字表明,随着时间的推移,已发表科学的质量变化不太可能是中断减少的原因。

From: Papers and patents are becoming less disruptive over time

https://www.nature.com/articles/s41586-022-05543-x/figures/5

https://www.nature.com/articles/s41586-022-05543-x

     

   简言之:

   迷信国际顶刊,

   不利于科技创新!!!甚至是扼杀颠覆性科技创新!

     

   孙昌璞院士说:

https://news.sciencenet.cn/htmlnews/2023/5/500025.shtm

   类似“追逐流行的研究方向”这种行为,对个人来讲确实不能说是很大的问题。一个年轻人,去做一些时髦的研究方向,没什么不可以的。但如果所有人都去做这个时髦的方向,而不是根据对科学本身的理解和判断来选择研究方向。会出现什么情况呢?

   第一会非常地“卷”,大量人挤在少数几个热门领域里毫无意义地内卷;第二,真正原创性的科学,有价值的科学没有人做了。这不仅会造成巨大的社会资源浪费,也严重破坏了科学研究的公信力。

     

二、放弃对论文的过度量化计量评价,增加公开的综合评价

   从各种“评价”中极力降低“论文”数量指标的作用,是遏制“常规论文泛滥”的主要具体手段之一。

   采用网络“公开实名讨论”,是可能的具体替代方法。

   加强“长周期评价”,是先进科技进步的重要保证。

   ……

   不存在“完美”的具体评价方法。

   完美的评价方法,来自“人心”。

     

三、呜呼,灭六国者六国也,非秦也。族秦者秦也,非天下也。

3.1  公元 825年(唐敬宗宝历元年),23岁的杜牧在《阿房宫赋》里说

     

   呜呼,

   灭六国者六国也,非秦也。

   族秦者秦也,非天下也。

     

   嗟乎!

   使六国各爱其人,则足以拒秦;

   使秦复爱六国之人,则递三世可至万世而为君,谁得而族灭也?

     

   秦人不暇自哀,而后人哀之;

   后人哀之而不鉴之,亦使后人而复哀后人也。

     

7a90575f61b95ee8f92119f08016026c_副本_副本.png

图3  杜牧 Du Mu, 公元 803 ~ 852。清代上官周(1665年—1752年)画

https://nguoikesu.com/images/wiki/do-muc/7a90575f61b95ee8f92119f08016026c.jpg

https://blog.sciencenet.cn/blog-107667-1418754.html

                

3.2  公元 1822年,52岁黑格尔对杜牧(23岁)的抄袭

   998年(近千年)之后,52岁的黑格尔 1822年在《Lectures on the Philosophy of History》里,抄袭 23岁的杜牧说:

   “人类从历史中学到的唯一教训,就是人类无法从历史中学到任何教训。

   But what experience and history teach is this, - that peoples and governments never have learned anything from history, or acted on principles deduced from it.

   Was die Erfahrung aber und die Geschichte lehren, ist dieses, daß Völker und Regierungen niemals etwas aus der Geschichte gelernt und nach Lehren, die aus derselben zu ziehen gewesen wären, gehandelt haben.

   Georg Wilhelm Friedrich Hegel (1770 - 1831), deutscher Philosoph

   Quelle: Hegel, Vorlesungen über die Philosophie der Geschichte, 1837 (posthum). Einleitung

   Georg Wilhelm Friedrich Hegel, 1770-08-27 ~ 1831-11-14, 61。

                

3.3  公元 1875年,40岁福泽谕吉对杜牧(23岁)的“擦边球”式抄袭

   1875年,40岁的福泽谕吉(福沢諭吉,ふくざわゆきち,Fukuzawa Yukichi,1835-01-10 ~ 1901-02-03, 66),在《文明论概略 文明論之概略》擦边球式第抄袭说:

   “汲取欧洲文明,必须先其难者而后其易者,首先变革人心,然后改变政令,最后达到有形的物质。按照这个顺序做,虽然有困难,但是没有真正的障碍,可以顺利达到目的。倘若次序颠倒,看来似乎容易,实际上此路不通,恰如立于墙壁之前寸步难行,不是踌躇不前,就是想前进一寸,反而后退一尺。”

                

参考资料:

[1] 生物世界,2023-01-05,Nature:论文与专利越来越多,但突破性成果却越来越少

https://mp.weixin.qq.com/s/ylFv3jrSkzsklZMTHJZfDA

[2] 孙学军,2023-01-05,过去半世纪,论文数量剧增,颠覆性论文和技术却减少了  精选

https://blog.sciencenet.cn/blog-41174-1370584.html

[3] 腾讯,2023-01-28,颠覆性创新直线下降,科学家开始“谨小慎微”了?

https://new.qq.com/rain/a/20230128A04UQD00

[4] 生物世界,2023-01-06,Nature:论文与专利越来越多,但突破性成果却越来越少

https://news.bioon.com/article/2c42e5488872.html

[5] Michael Park, Erin Leahey, Russell J. Funk. Papers and patents are becoming less disruptive over time [J]. Nature, 2013, 613: 138–144.

doi:  10.1038/s41586-022-05543-x

https://www.nature.com/articles/s41586-022-05543-x

[6] Max Kozlov. ‘Disruptive’ science has declined — and no one knows why. Nature, 2023-01-04

doi:  10.1038/d41586-022-04577-5

https://www.nature.com/articles/d41586-022-04577-5

[7] Rima-Maria Rahal, Susann Fiedler, Adeyemi Adetula, Ronnie P.-A. Berntsson, Ulrich Dirnagl, Gordon B. Feld, Christian J. Fiebach, Samsad Afrin Himi, Aidan J. Horner, Tina B. Lonsdorf, Felix Schönbrodt, Miguel Alejandro A. Silan, Michael Wenzler & Flávio Azevedo. Quality research needs good working conditions [J]. Nature Human Behaviour, 2023-02-08 

doi:  10.1038/s41562-022-01508-2

https://www.nature.com/articles/s41562-022-01508-2

[8] Amber Dance. Stop the peer-review treadmill. I want to get off [J]. Nature, 2023, 614: 581-583.

doi:  10.1038/d41586-023-00403-8

https://www.nature.com/articles/d41586-023-00403-8

[9] 来昕,2023-02-12,当今科研界的短期雇佣方式已经成了高质量和创新性科研的最大阻碍! 精选

https://blog.sciencenet.cn/blog-3518723-1375836.html

[10] 2022-01-14,废话的胜利:“精致而平庸”的论文是怎么发上顶级刊物的?

https://baijiahao.baidu.com/s?id=1721917651029877855&wfr=spider&for=pc

https://ishare.ifeng.com/c/s/v002Jp5DFzdH3lFRG5toTmcDqGnY9jd9wHZ--aSCNq19ynrA__

https://view.inews.qq.com/a/20220114A07CS700

[11] Dennis Tourish. The triumph of nonsense in management studies [J]. Academy of Management Learning & Education, 2020, 19(1): 99-109.

doi:  10.5465/amle.2019.0255

https://journals.aom.org/doi/10.5465/amle.2019.0255

[12] 2019-11-19, 同行评议的局限性和改进之策[J]. 《科技中国》2019年第十一期pp.34-36.  杨正瓴. 同行评议的局限性和改进之策[J]. 科技中国, 2019, (11): 34-36.

http://www.casted.org.cn/channel/newsinfo/7562

          

相关链接:

[1] 2023-01-06,Zenas 公理:2023年《Papers and patents are becoming less disruptive over time》里的图示

https://blog.sciencenet.cn/blog-107667-1370782.html

[2] 2021-07-24,Zenas 公理:2021年《Dynamics of Disruption in Science and Technology》里的图示

https://blog.sciencenet.cn/blog-107667-1296808.html

[3] 2023-02-12,[新闻] “原创三大杀手:同行评议、短期考核、没有时间”被顶刊论文证实

https://blog.sciencenet.cn/blog-107667-1375905.html

[4] 2023-02-14,Zenas 公理:2023年再遇 Nature 知音“Stop the peer-review treadmill. I want to get off”

https://blog.sciencenet.cn/blog-107667-1376250.html

[5] 2023-01-16,[搞笑?搞哭?汇集] 怎样判断“原创”和“诺贝尔奖成果”?

https://blog.sciencenet.cn/blog-107667-1372203.html

[6] 2024-01-22,[讨论,小资料] 科技评价:世界性难题(引用自杉野刚)

https://blog.sciencenet.cn/blog-107667-1418976.html

   获得诺贝尔奖的蓝光LED和导电性高分子在推进研究时,并未获得评价,用各种指标无法衡量。

[7] 2023-11-09,[打听] 诺贝尔奖成果,研究中申请不到经费,一共有几例?

https://blog.sciencenet.cn/blog-107667-1409102.html

[8] 2020-07-17,黑格尔抄袭了杜牧的《阿房宫赋》?

https://blog.sciencenet.cn/blog-107667-1242412.html

                   

感谢您的指教!

感谢您指正以上任何错误!

感谢您提供更多的相关资料!

                   

(热门)[建议] 放弃对论文的过度量化计量评价,+1.jpg



https://blog.sciencenet.cn/blog-107667-1460050.html

上一篇:[转载] 《科学智慧火花》,杨正瓴,2013-07-20 17:09:地球能量近似守恒
下一篇:[数学文化] 数学研究的“客观派”正式成立!
收藏 IP: 202.113.11.*| 热度|

29 许培扬 高宏 宁利中 刘进平 孙颉 杨学祥 王涛 胡泽春 王从彦 管克英 黄德民 刘秀梅 冯兆东 崔锦华 钱大鹏 刘炜 尤明庆 郑永军 池德龙 代恒伟 朱爱军 段德龙 朱晓刚 刘跃 杨立坚 周少祥 钟定胜 吕健 晏成和

该博文允许注册用户评论 请点击登录 评论 (13 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-26 21:53

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部