博文
[求教真伪] 戳破皇帝的新衣——为什么大多数发表的结果不具可重
||
[求教真伪] 戳破皇帝的新衣
——为什么大多数发表的结果不具可重复性贾高翔博主的《戳破皇帝的新衣——为什么大多数发表的结果不具可重复性》，2012-06-29在《中国科学报》发表：
http://news.sciencenet.cn/sbhtmlnews/2012/6/259969.shtm。他的博文：http://blog.sciencenet.cn/blog-462644-561566.html。
http://news.sciencenet.cn/sbhtmlnews/2012/6/259969.shtm。他的博文：http://blog.sciencenet.cn/blog-462644-561566.html。
不懂啊！到底是不是这样：
只有20%~25%的项目中所得出的结论与发表的结果完全一致。而有2/3的项目中，他们得出的结论与已发表的结果不一致。网上疯传的消息基本可信。
只有20%~25%的项目中所得出的结论与发表的结果完全一致。而有2/3的项目中，他们得出的结论与已发表的结果不一致。网上疯传的消息基本可信。
别的学科呢？
1998年俺曾经发现国际著名的1区SCI论文里的1篇论文的结果难以重复。
| 戳破皇帝的新衣 |
|
——为什么大多数发表的结果不具可重复性 |
前段时间，有这样一条消息在网上疯传：Science、Nature、Cell、PNAS等这些顶级杂志上生物医学方面的新发现有50%无法重复。这个比例与文献发表杂志影响因子高低没有关系。这不是胡乱猜测的诬蔑，而是由富有研究经验的药物研发机构的专家经过严格反复试验获得的客观数据。
为了验证这条消息的真伪，我特意找到了报道这一消息的原文——发表在nature reviews drug discovery上的Believe it or not: how much can we rely on published data on potential drug targets。
至此，我长出一口气，感觉终于有人有勇气来戳破皇帝的新衣了。该文主要说的是只有20%～25%的项目中所得出的结论与发表的结果完全一致。而有2/3的项目，他们得出的结论与已发表的结果不一致。网上疯传的消息基本可信。
在实验室，常听老板叹息说，这可是发在Nature（或Cell）上的结果呀，为什么我们实验室重复不出来呢？这样的情况不是少数，而是很多。我本人也做过一个课题，说是一种鸡贫血病毒的蛋白可以诱导肿瘤细胞发生凋亡，而对正常细胞没有影响。于是，我们实验室合成了该病毒，并构建了其带有一个Flag标签的重组蛋白。按文献中报道的条件处理肺癌细胞后，虽然可以检测到Flag的表达，却没有检测出其文献中报道的凋亡（该标签不影响蛋白活性）。由于我们实验室主要是做细胞凋亡，当我们重复某学者关于线粒体凋亡途径的一些实验时，也发现很难得出与其报道的相一致的结论。老板说，外出开会跟同行交流时，同行大多也说重复不出那位学者的结论。但是，这种结果谁也不能发，因为与大牛结论不一致。
又想起隔壁实验室老板说的一个事：一个Harvard的老板在Nature上发文称找到了听觉的传递过程中将机械振动转换成电信号的蛋白，此发现是神经生物学领域的重大发现，对于揭示听觉传导的奥秘具有重要意义，可与Linda·B·Buck发现嗅觉奥秘相媲美。然而几年后，这篇文章中的结论被证实是错误的。可是，奇怪的是，该论文已经被引用几百次。真的很好奇，这几百次是怎么被引用的。
老板的一个同学给我们作讲座，讲他在国外5年的科研成果，说是发现肥胖主要是由一个叫Rcan2的基因所调控，而不是瘦素。其实验结果充分，而且，得出结果的过程特别严谨。但是，当他们将此发现投给Nature的时候，悲剧了……可以想象，当今肥胖领域是被那些leptin（瘦素）学派的人控制的，你要推翻他们，让他们没饭碗，他们会首先让你没饭碗。其实，leptin学说本身就有很大的缺陷。leptin突变后，小鼠容易肥胖，可并不是所有的肥胖症患者leptin基因都突变啊！这说明，leptin并不是调节肥胖的关键基因。到目前为止，该老师的文章也没有发表，但我相信，他的这篇文章终会发表，我也相信他的研究结果终会获得应有的recognition（承认）。
为什么会出现实验结果不可重复性呢？某种程度上，既成学霸们把持出版的标准，只发表与自己相同的结果对此现象有很大贡献。另外，实验人员只重视positive result（积极的结果），也是造成实验结果不可重复性的原因。前天，问实验室师姐，你怎么还在做这个实验啊？师姐说，唉，没办法啊，结果一直不好呀……年轻科研人员有毕业的压力或者评职称的压力，急需文章，很有可能无法理性分析文章结果。
总之，长久以来，人们都知道很多research article（研究论文）的结果无法重复，但谁也不敢说。就算说了，也被主流观点给湮没了。现在，很高兴，终于有人戳破了皇帝的新衣。希望此文能够引起科学网对这种现象的讨论，也希望学术界能重视此现象。当然，本人更加呼唤科研环境的改变。
https://blog.sciencenet.cn/blog-107667-588127.html
上一篇：2012夏季期末阅卷（三）：天津下雨预报准
下一篇：2012夏季期末阅卷（四）：6月29日下午阅卷合影
