博文
科学研究的可重复性
|||
《科学研究的可重复性原则》一文中提到的大量学术论文中的实验无法重复。
我认为不光是学术原则的问题，也与不同学科的研究风格差异有关。在生物或医学中常见的现象，在其它学科中未必。
对实验物理学家来说，误差分析是核心。不懂误差，就不懂实验物理。得到一个数字往往不难，数据分析工作的绝大部分时间，都是花在独立检验、一致性检验、以及通过这些检验恰当地估计各种误差，给出置信度上。高能物理中常见的表述方式是：（KamLAND的）实验结果在99.99996%的置信度上排除了中微子无振荡假设，得到的振荡参数是8.2+0.6-0.5。
在大亚湾实验的液闪研制中，曾经与化学家合作过很长时间，发现化学中基本上没有误差的概念（也就没有置信度的定量概念），十次实验中有一两次不能重复也不算什么，也不会大惊小怪地去把不能重复的原因找出来。这让我提心掉胆了很长时间，总觉得没有研究清楚，风险太大。容器污染、样品不纯、天气不好、心情烦燥，不可知的因素太多，而绝大部分化学实验也没有足够重大，以至于需要精确控制每一个因素。做得不好，再来一次呗。
这位化学家同事现在主要精力在生物医学方面，说：化学实验的精确度不能跟物理比，但还算好的，现在做的生物方面的实验，下次还能重复出来就已经很不错了。
高能物理中的误差数字，缺省一般指一个sigma，68%的置信度。确认一个新粒子或新现象，一般需要3-5个sigma，不同的领域有不同的约定俗成。中微子比较难探测，常用90%的置信度给结果，或者用3个sigma当做证据。在与核电的人打交道的过程中，花了好久才相互理解彼此的语言。他们说的误差常有两种，一种是95%的置信度，另一种是误差限，比如说允许误差2%，就是绝不允许超过2%。实际上从统计上看，真实误差远小于2%，尤其是跟高斯分布差得远的时候。需要安全的时候，精确就必须退居次席。
做天文的最让人惊讶的是，一个看上去很粗略的方案，很多东西都没有论证清楚，居然已经立项开始干了。大约天文学家的时尚，是在黑暗中摸索，主要目的是发现新现象，而不是定量研究精确的规律。既然目的是探索未知的东西，一切如计划就提不起兴致。
学科的成熟度和复杂程度，养成了不同学科的不同风格。物理是一门相当成熟的学科，而且以研究最本源的普遍规律为主。越是本源的越简单，很多是可以精确计算的。也有一些从第一原理很难精确计算的，像核物理，在接近一百年的时间里，形成了庞大的核数据库，研究的不过是几百种核素而已，而且还经常发现不够用。化学中有多少种分子？生物中有多少种细胞？每个人生同样的病，表现都不一样。有时候想，把大家的研究领域换一换，换个方式来折腾，也许很有意思。
https://blog.sciencenet.cn/blog-296183-448005.html
上一篇：信专家，不如信明星
下一篇：日本T2K实验观察到新的中微子转换现象
