editage的个人博客分享 http://blog.sciencenet.cn/u/editage

博文

为什么说要该当个“存疑精神”的科学家

已有 460 次阅读 2020-5-19 10:20 |个人分类:科研影响力和研究质量|系统分类:论文交流| 科研, 学术, 论文, 润色, 发表

image.png


【本文经 Tim van der Zee 许可改编,原文发表在他的博客上。】

不要误解我的话,但身为科学家必须要有“存疑精神”。

不要满足于困难问题的简单答案

不要轻信表面看起来正确的信息

也不要轻易相信你读到的研究中所得出的结论,因为它看起来好像是对的

Geoff Norman 说:我人生中的某些黑暗时刻,我可以说服我自己教育的所有主张是——

(a) 源自没有证据的来源(成人学习理论)

(b) 尽管有相反证据依然坚持自我(学习方式、自我检测技巧)或是

(c) 超过既存证据的支持范围

科研文献总是有偏见的。阳性结果大量发表,而阴性或无效研究结果在角落生灰尘1,2,这种偏见从什么论文被投出去到什么论文被发表等许多层级都存在3,4。换句话说,这诱使科研人员(有意或无意地)提出有问题的研究方法,例如做了很多统计检验,但只报告“成功”的那几个,这也称作 p 值操纵 (p-hacking)5。还有,科研人员经常对自己的研究结果提供带偏见的阐释6,例如,有将近 28% 的引用都是错的或是有误导性,这些通常都不会被发现,因为大部分的读者都不会检查参考文献7

当然不止这样,需要事先注册 protocol 的研究,如临床试验,通常都是源自没有报告结果或私自添加新结果的 protocol8,这些改变都有迹可循,但通常都偏向报告正面影响,隐藏负面影响9。不是只有临床试验这样,一般的已发表论文也经常含有不正确报告的统计,其中有 35% 是会直接影响结论的严重错误10,11,12。来自有产业介入的作者的 meta 分析大量被发表,但却没有报告注意事项13。而且,如果原来的研究本身质量不高,meta 分析并没有神奇的方法改变这件事(也就是garbage in, garbage out 理论)。这些研究素质低下的其中一个原因是缺乏对照组,或是更误导人的:不适当的对照组,有可能错误地带出安慰剂效应和其他已经被排除的解释14。要注意,这些问题不仅限于定量研究或(半)实证主义范式,从更自然的角度来看,与定性研究一样有关。

每个人都会说谎

问题还可以继续列举,但重点已经出来了:每个人都会说谎。在现有的体系中,说谎和误导不是那么单纯,是被诱发的。这有一部分可能是因为强烈偏好阳性发现的美好愿望的发表体系。除了发表体系中存在的这些诱因外,研究人员当然也是关键,不过,比较诡异的地方在于这也有部分存在许多领域,尤其是那些没有“技术证明”的,举例来说,如果你声称可以改善智能手机,你可以直接去做。但像心理学领域就不太可能直接实现。变数通常都是潜在的,不能直接观察到。衡量也都是间接的,即便有测出结果通常也没有办法证明它们实际上衡量了什么。

不好的诱因并不会一夜消失,人们通常抗拒改变。虽然有很多人在努力奋战,想要改善科学,但要看见成果,不是一条看不见尽头的路程,也会是一条漫漫长路。

现在呢?

这个观察是否太过愤世嫉俗?或许。但不管是不是,最重要的是我们都该小心。怀疑我们所读到的信息,甚至也要怀疑我们自己做的事、我们做的研究。

这或许是我开始写博客的主要原因:大部分的时候我都是错的。但我想要进步,随着时间过去错得少一些,而我们需要彼此才能做到,因为要愚弄一个人太过简单。

让我们都当个有“存疑精神”的科学家。

当我们变成更好的科学家。

 

参考资料

  1. Dwan, K., Gamble, C., Williamson, P. R., & Kirkham, J. J. (2013). Systematic review of the empirical evidence of study publication bias and outcome reporting bias—an updated reviewPloS one8(7).

  2. Franco, A., Malhotra, N., & Simonovits, G. (2014). Publication bias in the social sciences: Unlocking the file drawerScience345(6203), 1502-1505.

  3. Coursol, A., & Wagner, E. E. (1986). Effect of positive findings on submission and acceptance rates: A note on meta-analysis biasProfessional Psychology: Research and Practice, 17(2), 136-137

  4. Kerr, S., Tolliver, J., & Petree, D. (1977). Manuscript characteristics which influence acceptance for management and social science journalsAcademy of Management Journal20(1), 132-141.

  5. Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of p-hacking in sciencePLoS Biol13(3).

  6. Brown, A. W., Brown, M. M. B., & Allison, D. B. (2013). Belief beyond the evidence: using the proposed effect of breakfast on obesity to show 2 practices that distort scientific evidenceThe American journal of clinical nutrition98(5), 1298-1308.

  7. Van der Zee, T. & Nonsense, B. S. (2016). It is easy to cite a random paper as support for anythingJournal of Misleading Citations33(2), 483-475.

  8. http://compare-trials.org/

  9. Jones, C. W., Keil, L. G., Holland, W. C., Caughey, M. C., & Platts-Mills, T. F. (2015). Comparison of registered and published outcomes in randomized controlled trials: a systematic reviewBMC medicine13(1), 1.

  10. Bakker, M., & Wicherts, J. M. (2011). The (mis) reporting of statistical results in psychology journalsBehavior Research Methods43(3), 666-678.

  11. Nuijten, M. B., Hartgerink, C. H., van Assen, M. A., Epskamp, S., & Wicherts, J. M. (2015). The prevalence of statistical reporting errors in psychology (1985–2013). Behavior research methods, 1-22.

  12. Nonsense, B. S., & Van der Zee, T. (2015). The reported thirty-five percent is incorrect, it is approximately fifteen percentThe Journal of False Statistics33(2), 417-424.

  13. Ebrahim, S., Bance, S., Athale, A., Malachowski, C., & Ioannidis, J. P. (2015). Meta-analyses with industry involvement are massively published and report no caveats for antidepressantsJournal of clinical epidemiology.

  14. Boot, W. R., Simons, D. J., Stothart, C., & Stutts, C. (2013). The pervasive problem with placebos in psychology why active control groups are not sufficient to rule out placebo effectsPerspectives on Psychological Science8(4), 445-454.

  15. Collier, D., & Mahoney, J. (1996). Insights and pitfalls: Selection bias in qualitative researchWorld Politics49(01), 56-91.

  16. Golafshani, N. (2003). Understanding reliability and validity in qualitative researchThe qualitative report8(4), 597-606.

  17. Sandelowski, M. (1986). The problem of rigor in qualitative researchAdvances in nursing science8(3), 27-37.


我们为您准备了一场公益讲座 ——

同济大学法学院副教授,胡洁人:《SSCI论文发表的方法、难点和技巧》

胡洁人-横版.jpg

5.28日周四晚7:30-8:30,不见不散。

扫码或点击链接参加:https://live.vhall.com/473367192



http://blog.sciencenet.cn/blog-769813-1233854.html

上一篇:案例分析:不清楚的论文处理费差点导致一稿多投
下一篇:从形式审查角度谈如何撰写国家自然科学基金项目申请书

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-7-5 21:43

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部