求真分享 http://blog.sciencenet.cn/u/zlyang 求真务实

博文

科技评价的可能会遇到的几个实质性困难

已有 4133 次阅读 2017-6-1 16:51 |系统分类:科研笔记|关键词:科技评价,,,,可能,,,遇到,,,,,实质性,,,,困难| 困难, 科技评价, 可能, 遇到, 实质性

科技评价的可能会遇到的几个实质性困难

         

(1)同行评议:用现有知识来评判未知知识,本身就具有不可靠性

    越是新知识,对人类文明进步促进越大的新知识,越容易遭到现有知识的反对。

         Zenas 公理普朗克定理历史学的中国定理

    丁肇中说,科学是多数服从少数,只有少数人把多数人的观念推翻以后,科学才能向前发展。因此,专家评审并不是绝对有用的。因为专家评审依靠现有的知识,而科学的进展是推翻现有的知识。

    例如:

    ① 1892年,英国皇家学会承认1845年拒绝了James Clerk Maxwell气体动力学理论的论文是个错误。这说明同行裁判系统存在根本缺陷。

    ② 晶体学权威、两届诺贝尔奖得主鲍林(Pauling)曾公开声称:谢赫特曼(Daniel Shechtman)是在胡言乱语,没有什么准晶体,只有“准科学家”。

        The Nobel Prize in Chemistry 2011 was awarded to Dan Shechtman "for the discovery of quasicrystals". https://www.nobelprize.org/nobel_prizes/chemistry/laureates/2011/

         

(2)真科技,主要来自宁静。非宁静无以致远

    爱因斯坦说:“负担过重必导致肤浅。”“实践性的职业对于象我这样的人来说简直是一种拯救:因为学院式的环境迫使青年人不断提供科学作品,只有坚强的性格才能在这种情况下不流于浅薄。

    陈省身说:“要做学问就要安静,甚至电话都不要接,不能打断思路。”

    思考,需要大块的时间。


(3)过度竞争

    科技界竞争越激烈,【同行评议】的消极作用会越来越明显:

    因为“你死我活”,只能“党同伐异”!!将个人和小团体的利益,置于国家和社会利益之上。

    特别是评价结果绑定了“下岗”“升迁”等物质利益时。

         

    美国科技中心,没有太多实质性的创新,以大型实验为主。

    陈希孺院士《数理统计学简史》第273页写到:“在美国有一个流行的口号:‘publish or purish’(不发表就 灭亡),提升职称等许多与个人利益有关的事情都取决于多发表,”

    在1931年到1934年,美国更是多次发生罢工奶农强行倾倒其他奶农的牛奶,理由是“防止其他奶农以低价出售牛奶”。

               

(4)引用,和水平没有必然的联系

    “在科学作品方面,数量指标起不了特别的作用,无论如何也起不了决定性的作,对每一个科学作品来说,最主要的是质量,也就是向自然界提出的问题的回答充分程度如何和所得答案的可靠程度如何。”

        2014年Nature统计发现,从1900年开始,高温超导的发现,DNA双螺旋的结构确定,以及首次观察到宇宙扩张速度的加快等重大发现,都赢得诺贝尔奖,可是相关的论文都没有进入引用前100的论文。

         

(5)早发表,晚评价

    1978年华罗庚在中国数学会成都会议上语重心长地提出:“早发表,晚评价。”

    短期引用,与论文水平没有明显的直接关系。现在的引文影响力研究基本上都关注短期引用。

    但是,越来越多的时间滞后威胁诺贝尔奖》。

       

(6)真正的核心困难:真理(客观规律)是客观的。

    真理(客观规律)是客观的,独立于人类而自然存在。

    一个科技成果是否真实,却是独立于人类的评价。

     

    多数人的看法,不一定就是真理。例如:  

    ① 联共产党,

    大约50万党员,夺取了全国政权;

    大约400万党员,打败希特勒(二战中苏联共产党有700万党员,其中300万人战死在前线);

    以此,

    到了近2000万党员,应该管理地球或太阳系了吧?

    可是,

    事实却是一夜之间土崩瓦解、烟消云散

    ② 利略在1632年发表了《关于两种世界体系对话》的作品,支持和发展哥白尼的地动说,于1633年被罗马教廷圣职部判处终身监禁,后改为软禁,直至1642年去世,终年78岁。

        1992年10月31日,伽利略蒙冤360年后获平反。

                     

相关链接:

[1] 新华网,2014-10-21,丁肇中对话青年师生:一生最重要选择是只做一件事

http://news.xinhuanet.com/edu/2014-10/21/c_127121143.htm

    丁肇中说,科学是多数服从少数,只有少数人把多数人的观念推翻以后,

科学才能向前发展。因此,专家评审并不是绝对有用的。因为专家评审依靠现有

的知识,而科学的进展是推翻现有的知识。

[2] 孙学军,2016-04-20,论文评审演变史 精选

http://blog.sciencenet.cn/blog-41174-971370.html

    1892年,英国皇家学会承认1845年拒绝了James Clerk Maxwell气体动力学理论的论

文是个错误。这说明同行裁判系统存在根本缺陷。

[2-1] Alex Csiszar, 19 April 2016, Peer review: Troubled from the start

NATURE  卷: 532   期: 7599   页: 306-308   出版年: APR 21 2016

http://www.nature.com/news/peer-review-troubled-from-the-start-1.19763

[3] 黄秀清,2010-11-16,准晶:被双料诺奖得主鲍林斥为Nonsense的伟大发现 精选

http://blog.sciencenet.cn/blog-480705-383415.html

[4] 新华网,2011-10-25,陈省身:“大师”二字这样写

http://news.xinhuanet.com/edu/2011-10/25/c_122193249_3.htm

    因为人们一旦学术上有所成就后,在国内给他们安排的官场上的事情太多,没有时间来做学问。要做学问就要安静,甚至电话都不要接,不能打断思路。

[5] 斯幸峰,2015-09-16,耶鲁大学教授:研究生做科研的11条军规 精选

http://blog.sciencenet.cn/blog-720485-784084.html

    学会思考,你需要两样东西:首先你得有一段充裕的时间;其次是,你需要跟比你对该科学问题理解得更透彻的人进行尽量多的一对一交流。

[5-1] Stephen C. Stearns, Some Modest Advice for Graduate Students

http://stearnslab.yale.edu/some-modest-advice-graduate-students

        First, a real opportunity could arise that is more productive and challenging than anything you could do in graduate school and that involves a long enough block of time to justify dropping out.

[6] 武际可,2017-04-16,科学研究是有闲人群的玩艺———读爱因斯坦的短文有 精选

http://blog.sciencenet.cn/blog-39472-1049189.html

    看来要有好的研究,就首先要造就一批衣食无忧的有闲人群。对于有幸衣食无忧有空闲时间的人,就有条件充分展示自己的爱好,实现自己的梦想,对科学爱好的人可以去探求自然的奥秘,对文学爱好的人可以创作出传世著作,对艺术有兴趣的人可以创作出不朽的艺作,即使你是一位匠人,可以利用这衣食无忧的条件做出精美绝伦的作品,这就是匠人精神,你可能达不到他们的高度,但至少可以去学习一些新的知识充实自己,这才是一种生活的高境界。

[7] 谢志刚,2014-10-30,史上引用次数最多的十篇论文 精选

http://blog.sciencenet.cn/blog-532317-839711.html

    高温超导的发现,DNA双螺旋的结构确定,以及首次观察到宇宙扩张速度的加快等重大发现,都赢得诺贝尔奖,可是相关的论文都没有进入引用前100的论文。

    此次引用前100的文章,是从1900年开始计算的。

    要进入前100名,至少要引用12119次,实在恐怖!搞笑的是很多有名的论文

都没有进入前100。

    目前引用最多的文献是1951年的论文,描述了怎么计算溶液中蛋白的含量,它已经有305000次引用。

[7-1] NATURE 2014 (Richard Van Noorden, Brendan Maher,  Regina Nuzzo) The top 100 papers, Nature explores the most-cited research of all time

http://www.nature.com/news/the-top-100-papers-1.16224?WT.mc_id=FBK_NatureNews

[8] 武夷山,2016-04-07,短期引用与长期引用 精选

http://blog.sciencenet.cn/blog-1557-968350.html

    他们认为,引文需要进一步区分为不同情形;短期引用说明了被引论文作者处于研究前沿,反映的是选题的时尚性;长期引用则能够说明,被引文献对于将知识主张转化为概念符号的编码化过程作出了贡献。研究前沿的知识主张很可能只是风光一时,因此将短期引用作为质量指标是不合适的。现在的引文影响力研究基本上都是关注短期引用,因此,相关数据所测度的并非认知质量,而只能反映出被引文章作者参与了当前的话语讨论。

[8-1] Loet Leydesdorff, Lutz Bornmann,  Jordan A. Comins, Staša Milojević. Citations: Indicators of Quality? The Impact Fallacy

http://journal.frontiersin.org/article/10.3389/frma.2016.00001/full

[9] 孙小淳,2013-10-06,苏联专家谈中国的“科学文化”

http://blog.sciencenet.cn/blog-107667-945476.html

http://blog.sciencenet.cn/blog-1051670-730496.html

    评价科学,不能像评价生产大米、砖头那样论斤计量。“在科学作品方面,

数量指标起不了特别的作用,无论如何也起不了决定性的作用,对每一个科学作品来说,最主要的是质量,也就是向自然界提出的问题的回答充分程度如何和所

得答案的可靠程度如何。”

[10] 江晓原,2009-12-28,爱因斯坦:曾经的超级“民科”

http://blog.sina.com.cn/s/blog_485f2bc80100gyz0.html

   爱因斯坦后来多次表示,如果他当时在大学里找到了工作,就必须将时间花在准备讲义和晋升职称的论文上,恐怕就根本没有闲暇时间来自由思考了。他在逝世前一月所写的自述中表明,奇迹来自自由的思考:

   鉴定专利权的工作,对于我来说是一件幸事。它迫使你从物理学上多方面地思考,以便为鉴定提供依据。此外,实践性的职业对于象我这样的人来说简直是一种拯救:因为学院式的环境迫使青年人不断提供科学作品,只有坚强的性格才能在这种情况下不流于浅薄。

[11] 新华网,2010-01-13,埃及考古学家称金字塔并非奴隶修建(组图)

http://news.xinhuanet.com/world/2010-01/13/content_12800059.htm

   在墓穴遗址发现的考古证据显示,1万多名建筑工人每天要吃掉21头牛和23只羊,所有这些牲畜都是从埃及北部和南部的农场运来的。此外,这些工人每3个月进行一次轮换。

[12] 周健,2016-09-11,科学面临的七大问题及出路 精选

http://blog.sciencenet.cn/blog-1248178-1002186.html

[12-1] Julia Belluz, Brad Plumer, and Brian Resnick, 2016-09-07, The 7 biggest problems facing science, according to 270 scientists, by Julia Belluz, Brad Plumer, and Brian Resnick on September 7, 2016

http://www.vox.com/2016/7/14/12016710/science-challeges-research-funding-peer-review-process

[13] 文双春,2016-08-19,基金挂了只因没创新或评委不懂? 精选

http://blog.sciencenet.cn/blog-412323-997348.html

    科学史证明新领域大多由拿小钱或不拿钱的人开创也就是说,开创性的东西在初期很难得到认可和支持历来是一种常态。

[13-1] Kevin J. Boudreau, Eva C. Guinan, Karim R. Lakhani, Christoph Riedl. Looking Across and Looking Beyond the Knowledge Frontier: Intellectual Distance, Novelty, and Resource Allocation in Science.  Management Science, Published Online: January 8, 2016

http://pubsonline.informs.org/doi/10.1287/mnsc.2015.2285

[13-2] Lindell Bromham, Russell Dinnage, Xia Hua. Interdisciplinary research has consistently lower funding success. NATURE, 2016, 534(7609): 684–687  (30 June 2016)

http://www.nature.com/nature/journal/v534/n7609/full/nature18315.html

[13-3] Stefano Balietti, Robert L. Goldstone, Dirk Helbing. Peer review and competition in the Art Exhibition Game. Proceedings of the National Academy of Sciences of the United States of America (PNAS), 2016, 113(60): 8414-8419 (JUL 26 2016)

http://www.pnas.org/content/113/30/8414.full

[14] 张蕾,光明日报,2014-04-10,《自然》文章:时间滞后将威胁诺奖地位

http://news.sciencenet.cn/htmlnews/2014/4/291709.shtm

    本周的《自然》上刊登了芬兰阿尔托大学的圣·福尔图纳托(Santo Fortunato)等人撰写的一篇报道《越来越多的时间滞后威胁诺贝尔奖》,表示这等待过程将会越来越常见,甚至发展到使原本有机会得奖的候选人活不到颁奖典礼那天。

[14-1] Santo Fortunato. Prizes: Growing time lag threatens Nobels

http://www.nature.com/nature/journal/v508/n7495/full/508186a.html

Nature 508, 186 (10 April 2014) doi:10.1038/508186a, Published online 09 April 2014

[15] 人民网,1992-10-31,1992年10月31日 伽利略蒙冤360年后获平反

http://www.people.com.cn/GB/historic/1031/3655.html

    1992年10月31日,伽利略蒙冤360年后终于获得梵蒂冈教皇的平反。

    梵蒂冈教皇约翰·保罗二世10月31日在梵蒂冈说,当年处置伽利略是一个“善意的错误”。他对在场的教廷圣职部人员和20来名红衣主教说:“永远不要再发生另一起伽利略事件。”

    伽利略是意大利著名的物理学家和天文学家。由于他在1632年发表了《关于两种世界体系对话》的作品,支持和发展哥白尼的地动说,于1633年被罗马教廷圣职部判处终身监禁,后改为软禁,直至1642年去世,终年78岁。

[16] 张九庆,2015-01-06,科学进步的未来:一个比喻性的总结

http://blog.sciencenet.cn/blog-542-856902.html

3 科技创新面临的内外部威胁

        科研经费的匮乏。科学研究越来越深入,面对科学问题越来越复杂和专业化,科技创新变成了一个需要大量投资的风险事业,科研资金的匮乏也因为全球经济危机而加剧。青黄不接的资金资助形式使得科学家不得不把注意力放在短期目标上,而那些需要长时间研究才有可能带来重大发现的科研问题便少人问津。

       科研不端行为的严重。科学家的信誉是建立在科研诚信的基础之上,然而包括剽窃、伪造、篡改等在内的科研不端行为的不断发生正在侵蚀着科学家的良好信誉。研究结果的可重复性是检验科学是否诚信的主要手段之一。2013年7月31日英国《Nature》杂志上的一篇文章透露,在生物医学研究中,存在大量不具有可重复性的实验研究。例如,2011年,德国拜尔公司的一项内部调查发现,在67项内部临床前研究中,大约2/3无法验证。2012年,美国加州一家名为安进的制药公司对53项关于癌症的论文进行重复性检验,89%的研究结果无法重复。2013年5月,对美国德克萨斯州MD安德森肿瘤研究中心的一项调查研究发现,至少有50%的已发表数据无法进行重复。这些证据说明医学论文中可能存在大量的科研不端行为。科学共同体中已经逐渐形成了赢者通吃、快鱼吃慢鱼的竞争激励机制。适度的竞争是科学进步的动力,但过度竞争也导致了科研不端行为的泛滥,成了科学进步的阻力。赢者通吃使得科研经费、奖励和其他的回报主要集中在第一个发表论文的科学家身上;快鱼吃慢鱼使得草率的研究挤出了精雕细作的研究。

       追求科技创新的高效率。无论是科学发现还是技术创新的难度显著增加。丰富的专业背景知识、长时间的辛苦劳动、一群志同道合的同事,加上昂贵的技术装备,使得科技创新成为一个复杂的巨系统。这个复杂巨系统必须良好运行,才有可能取得重大突破。许多投资者往往只追求效率,把科技创新看成是只要有人财物的投入后就会立竿见影的事。

       因为对资金的依赖,科学家越来越听命于投资人,屈从于任务导向的研究,科学家的自主性和科学共同体的自治性受到了挑战。因为不端行为的存在,投资人对科学家的科研活动和行为进行了越来越多的监管,听取了越来越多的汇报。

       科技创新和投资者之间需要足够的张力。例如,就基础科学研究而言,仅把科学研究当成是一种创造性艺术,认为任何对导向性、目标性的要求都会窒息科学研究的独创性思维;或者仅把科学研究当成是满足社会需要的手段,认为科学家的一切研究都必须回应这种需要;这两种观点都不可取。比如,投入到科学研究的资源是有限的,对科学的目标要求和定向在于投资者能确定把有限资源放到哪个研究领域哪个研究主题,但投资者的目标要求不能控制到具体某个具体科学家的研究策略上。

[16-1] Wadman, Meredith, NIH mulls rules for validating key results, NATURE  卷: 500   期: 7460   页: 14-16   出版年: AUG 1 2013

http://www.nature.com/news/nih-mulls-rules-for-validating-key-results-1.13469

        In a 2011 internal survey, pharmaceutical firm Bayer HealthCare of Leverkusen, Germany, was unable to validate the relevant preclinical research for almost two-thirds of 67 in-house projects. Then, in 2012, scientists at Amgen, a drug company based in Thousand Oaks, California, reported their failure to replicate 89% of the findings from 53 landmark cancer papers. And in a study published in May, more than half of the respondents to a survey at the MD Anderson Cancer Center in Houston, Texas, reported failing at least once in attempts at reproducing published data (see ‘Make believe’).

[17] 孙学军,2017-01-21,重复别人的研究论文,胆子要足够大 精选

http://blog.sciencenet.cn/blog-41174-1029070.html

        关于癌症顶级学术论文验证性工作再次发表进展,证明现实中大多数高级别研究论文的可重复性非常不理想。2017年1月19日发表在《eLife》上的一系列论文中,“癌症生物学重复性项目”的研究人员报告称,对5项著名CNS级别杂志上发表的癌症临床前研究进行的验证性实验,没有一个研究结果能够被完全重复,验证研究无法确认研究中的任何发现。部分研究能够得到与初始研究类似趋势的结果,但统计分析无法排除这些结果是意外变化,或者说没有统计学差异。其中两项实验因为使用小鼠或细胞问题导致无法确认研究是否符合原来研究条件。

[17-1] eLife, Editorial Jan 19, 2017, Reproducibility in Cancer Biology: The challenges of replication

https://elifesciences.org/articles/23693

        The first five Replication Studies have now been published. Two of the studies reproduced important parts of the original papers (Kandela et al., 2017; Aird et al., 2017), and one did not (Mantis et al., 2017). The other two Replication Studies were uninterpretable because the control tumors grew too quickly or too slowly (or exhibited spontaneous regressions) to reliably measure whether the experimental intervention had the predicted effect (Horrigan et al., 2017a; Horrigan et al., 2017b): however, in one of these two cases the original paper (Willingham et al., 2012) has led to clinical trials for anti-CD47 antibody therapy that will provide extensive additional data on the effectiveness of this approach. Three of the Replication Studies are also accompanied by Insight articles (Dang, 2017; Davis, 2017; Sun and Gao, 2017).

[18] 文双春,2013-05-02,能出院士不一定能出大师——学术越评越掉价 精选

http://blog.sciencenet.cn/blog-412323-685914.html

        学术乃至所有智力贡献的准确评价相当于物理学中的精确测量,是个高技术活,多数情况下即使技术再高明也无法对某个物理量精确测量。关于这一点,英国经济学家Charles Goodhart在1975年发明了一个以他名字命名的Goodhart定律:某种评价一旦被选择用来作决策时,这种评价就开始失去其价值了。(Once a measure is chosen for making policy decisions, it begins to lose value as a measure)。Goodhart定律曾被应用于银行和其他领域的政策制定,实践表明,评价不仅破坏评价过程,也扭曲对评价目标的认识。从这一点来看,Goodhart定律类似于量子力学中的测不准原理。学术就像量子,所以也“测不准”;学术评价就像量子测量,任何测试量子的操作,都会改变量子状态,同样,任何学术评价都会使学术和学术评价本身变味,而且不是变好,而是越评越掉价。





                                         

感谢您的指教!

感谢您指正以上任何错误

感谢您提供更多的相关资料,特别是权威的英文资料!



http://blog.sciencenet.cn/blog-107667-1058444.html

上一篇:祝《科学网》大家庭 2017 端午节安康!
下一篇:[选择题] 电流通过人体最危险的路径是()

24 代恒伟 高友鹤 刘炜 李颖业 柳林涛 许培扬 蒋敏强 姬扬 罗教明 俞立平 徐令予 侯沉 张忆文 晏成和 武夷山 朱晓刚 王毅翔 金拓 宁利中 zhangxiangtong ljxm houzhenyu loyalSciencefan xlsd

该博文允许注册用户评论 请点击登录 评论 (33 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-6-18 13:28

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部