caojun的个人博客分享 http://blog.sciencenet.cn/u/caojun 中国科学院高能物理研究所 八卦物理,管窥大千

博文

盲法分析的秘密

已有 13676 次阅读 2018-9-9 22:30 |个人分类:我的物理|系统分类:科普集锦

 

数十年前,包括理查德•费曼在内的一些物理学家注意到了一件令人担忧的事情:对基本物理常数的最新估值常常更接近已经公布的值。这些物理学家意识到,其他研究人员更可能“认可”而非反驳预期的结果,不符合研究人员预期的结果经常会受到系统性的排除或修改。【Ref.1】

 “证实性偏见”这个心理因素常给试验带来人为偏差。如果以前的测量结果是A,那么你也期望得到A。如果测到的结果确实是A,那很好。如果相差较远,你可能会怀疑自己在某个环节中出错了。然后,你会试图寻找可能导致错误的原因,直到发现它。或者你会一遍又一遍进行试验,直到获得“合理的”结果后停止试验。【Ref.2】

最近的引力常数测量的偏差其实不是一个典型的例子。光速的测量更明显。从下图中可以看出,虽然测得越来越精确,但结果随年代先是集体偏高,然后是集体偏低,并不符合“围绕中心值”随机涨落的统计特性。

image.png

为了消除这种“证实性偏见”,科学家提出应该进行“盲法分析”(Blind Analysis)。2015年,伯克利的诺奖得主珀尔马特与斯坦福的一位心理学教授在《自然》上撰文“盲法分析:隐藏结果,寻找真实”。

实际上粒子物理中普遍采用盲法分析要早得多。2003年笔者在美国做中微子实验MiniBooNE,这注定是一个有争议的实验,因此从一开始就采取了盲法分析。具体的措施是:在几年内获取的数据中,凡是有可能是信号的,随机抽10%公开,其余90%封闭;不是信号的本底都可以公开。当用本底和10%的信号建立分析工具,反复验证,确信方法成熟后,再打开全部数据。一旦打开全部数据,无论结果如何,都不准再修改方法。

后来盲法分析成了粒子物理界的一种时尚,好象不用都不好意思跟人说。但也有例外。大亚湾中微子实验取数前夕,我们评估后认为不应该采用盲法分析,一位美国合作者坚决要用,我则极力反对。一方面,由于我们要测的量,以前并没有结果,因此不存在“证实性偏见”的问题;另一方面,实验面临激烈的国际竞争,我们封闭数据,应该封闭多久呢?对手随时都可能宣布结果,我们等一年,还是三年?几个回合争论下来,取了折衷:实验数据都不封闭,但封闭三个参数,包括探测器离反应堆的精确距离、反应堆的运行数据、探测器的精确质量。这三个参数我们大致知道,但不知道精确数据。这样,不影响分析方法的建立,而且假如所测的量很大,在封闭参数的情况下也能估出来,但精确的数值是盲法分析的。

“这是我的一个秘密,再简单不过的秘密:一个人只有用心才能看到真实;事情的真相只用眼睛是看不到的。”


【Ref.1】文字摘自《科学之家》“盲法分析——偏见的克星?”

【Ref.2】部分文字参考了《原理》公号关于引力常数文章,“一个我们熟知的基本常数,其实具有很大的不确定性

【Ref.3】https://www.nature.com/news/blind-analysis-hide-results-to-seek-the-truth-1.18510





http://blog.sciencenet.cn/blog-296183-1133842.html

上一篇:DOI索引会议幻灯片
下一篇:新测量结果让万有引力常数更加诡异

13 黄仁勇 张珑 杨建军 李毅伟 黄永义 武伟伟 文克玲 徐磊 郭景涛 王庆浩 shenlu Hyq18936853798 chenhuansheng

该博文允许注册用户评论 请点击登录 评论 (3 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-3-1 09:52

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部