气宇轩分享 http://blog.sciencenet.cn/u/yufree

博文

科研博客圈的书剑恩仇 精选

已有 13198 次阅读 2017-9-5 08:58 |个人分类:科搜研手册|系统分类:海外观察

有人的地方就有江湖。

推动科学进步的是学术争论,大家围坐一席以数据与逻辑为工具互相质疑,寻求共识。但事实上这个过程中并不缺乏个人或群体情感的介入,这一方面是现代科研职业化所导致的拿钱吃饭,另一方面则是科研人员自身的主观好恶。这一点在科学家的博客上展示的淋漓尽致,虽然在学术期刊里发评论比较正式,但在预印本、数据共享与可重复性研究的大趋势下,越来越多的科学家选择时效性更高的非同行评议的博客来对科学进展进行评论。借助这些社交媒体,我们也可以一窥他们对学术观点的爱恨情仇,也许有人不屑于这些主观性比较强的评论,但从学术交流的角度出发,如果我们仅仅通过学术期刊与会议交流学术观点,由于存在审稿与运作周期,很多共识会消耗大量的传播成本来达成,这不仅与信息时代脱节,也会造成资源浪费。下面我们看些案例感受下国外学术界在博客这一媒介上的观点交锋:

案例一:“主观”的贝叶斯方法

哥伦比亚大学的 Andrew Gelman 的博客可以算得上是个火药桶了,他本身主张贝叶斯学派,而赶巧贝叶斯学派跟频率学派可以算得上科研数据分析里哲学思想差异最大的两派,起码按我的粗浅认识是根本无法调和的,所以即便实用上甚至算法上都差异不大,想对这两种思想和稀泥基本都会被 Gelman 教授无情嘲讽,如果你还打算说贝叶斯不好,基本上会被博文讨伐。当然,也不是所有人都有这个待遇,同舟子的做法类似, Gelman 教授基本也是逮着大鱼去坑。需要提醒的是他可不是舟子那种十几年不做科研的学术圈外人士,其本人是哥伦比亚大学应用统计中心的主任,其团队的研究领域十分广阔,大家可以感受一下:

why it is rational to vote; why campaign polls are so variable when elections are so predictable; why redistricting is good for democracy; reversals of death sentences; police stops in New York City, the statistical challenges of estimating small effects; the probability that your vote will be decisive; seats and votes in Congress; social network structure; arsenic in Bangladesh; radon in your basement; toxicology; medical imaging; and methods in surveys, experimental design, statistical inference, computation, and graphics.

顺带一提,著名贝叶斯统计软件 stan 就出自这个团队。

这次事情的起因是卡内基·梅隆大学的 Larry Wasserman 教授(2016年当选美国国家科学院院士)在接受一个博客采访时对频率学派与贝叶斯学派下了个定义:

I wish people were clearer about what Bayes is/is not and what frequentist inference is/is not. Bayes is the analysis of subjective beliefs but provides no frequency guarantees. Frequentist inference is about making procedures that have frequency guarantees but makes no pretense of representing anyone’s beliefs.

Gelman 教授对其频率学派的观点没啥意见,但那个 “subjective” 直接引爆了火药桶。而按照 Gelman 的定义,贝叶斯方法应该是:

Using inference from the posterior distribution, p(theta|y)

特别的,他还认为:

Science is always full of subjective human choices, and it’s always about studying larger questions that have an objective reality.

坦白说这个看法是比较符合科学史的,虽然当今科学理论体系逻辑上相对完备(先排除下哥德尔跟量子力学),但其发展确实很曲折,在实验数据跟统计决策成为主流之前,很多理论在发现或提出时主流科学家并不接受,有的是逻辑上不接受(很多新理论完全不容于旧理论),有的则属于威权集团打压,可以说相当主观。

但在后面的论述中,Gelman 教授就开始开嘲讽技能了,Larry 认为在高维数据处理中贝叶斯方法没意义无法解释,Gelman 教授则反驳说他觉得除了贝叶斯方法别的方法也都是解释不通的,并且他认为 Larry 自己不懂贝叶斯还瞎定义是十分不妥的。不得不说这段论述很没营养,跟小学生吵架差不多。紧接着 Gelman 教授又提到主观确实是贝叶斯方法的一部分但不是全部,那频率学派是不是可以说成“简单随机采样的技术”,科学研究范围在拓展,各种方法也在发展,贝叶斯方法可以研究客观问题。这个说法也比较中肯,接下来 Gelman 教授又开启了挖坟模式,他把 Larry 08年到13年关于贝叶斯方法中随机性看法的转变给列了出来,紧接着又说我也有这个转变过程。但文章最后他又翻了 Larry 对经济学家的旧账,认为他存在个人偏见。

看起来这个文章似乎比较正常,但这篇博文真正有趣的是评论,基本上集中了当今统计学中各路高手,下面是个不完全名单:

  • Nick Cox 杜伦大学 Stata 元老级开发者

  • Larry Wasserman 卡内基·梅隆大学教授 当事人

  • Deborah G. Mayo 宾夕法尼亚大学教授 采访 Larry 的人 errorstatistics.com 博主

  • Kevin Dick 斯坦福毕业 创业者 possibleinsight.com 博主

  • Judea Pearl UCLA 教授 http://causality.cs.ucla.edu/blog/ 博主

  • Christian Hennig 伦敦大学学院教授

  • Norm Matloff UC Davis 教授

  • Brendan K O’Rourke 都柏林理工教授 http://www.brendankorourke.com/ 博主

我们可以看出这么几件事:首先,这些领域内专家会互相关注对方的个人网站并通过这种方式互动;其次,看他们的讨论很有启发,必看书本上的干货更有意思;再次,很多讨论虽然对问题是没营养的,但有助于我们了解一些学术界的风格或流派。在前沿领域由于知识不全,多数情况是无法达成共识的,但通过了解其流派风格会帮助你更全面的看问题。

案例二:两个软件会产生一个结果吗?

巴拉巴西是一位呼声很高的诺奖候选人,其畅销书《链接》可以说把不少科研人员吸引到了网络科学的研究领域,现实中的无尺度网络的幂律分布所具有的奇特性质在很多并不相关的领域都有展示。但这个故事主角不是他,提到他只是想提前表示下同情,因为他在加州理工教授 Lior Pachter 的博客里躺枪了。事实上,2014年 Lior Pachter 在博客上开了个三部曲,本意就是对 MIT 教授 Manolis Kellis 的个人恩怨,但为了把故事讲的通透点,这位老兄追根溯源并展示了自己强大的数理功底,先后对两篇发表文章的创新性进行质疑,从图表到算法,其中一篇就是巴拉巴西的,另一篇则是 Manolis Kellis 教授的。这个故事科学网薛宇老师曾经翻译评论过,我这里不细讲。但 Lior Pachter 教授在后续的博文中又对号称H指数100多的巴拉巴西来了次二次扒皮,严格说被炮轰的其实不算冤枉,但被人挂的如此直白也只有 Lior Pachter 教授能做得出来。而我今天要讲的是他最近又跟纽约大学石溪分校&哈佛&卡内基·梅隆大学的同行掐架了,上演了进攻-防守-再进攻的三部曲。

首先 Lior 讲在他们那个 RNA 测序定量的圈子里,软件跟软件差异都是很大的,基本你用不同软件想得到一样的结果非常困难(这也说明这个领域的研究共识没有达成)。然后他话锋一转,说自己组里2016开发的一个软件跟最近发表在 Nature Methods 上的软件处理结果却出奇的一致,皮尔逊相关系数三个九,然后又是一通追根溯源。这里岔开说一句,Lior 之所以可以追根溯源,是因为预印本及版本控制系统的流行,最近 ACS 也对化学领域提供了预印本服务,预计不久就会覆盖绝大多数涉及数据分析的实验学科。从版本上 Lior 发现在他们论文发表后 Rob Patro 的软件也有了一个很大的更新,更新前跟他们组软件差异明显,更新后确几乎一样了,最后他认为 Rob Patro 所发表的文章实际上就是抄了自己组里开发软件的思想,然后加了个矫正。当然 Rob Patro 也很快在 github 上发表了一个回应,大意是他们在文章跟源码中多次引用了 Lior 组的论文并且在有些数据集中这两个软件的结果是不一样的,工作流程也不一样。但 Lior 教授显然并不满意,他又写了一篇博文指出其回复混淆视听,所谓的不一样是下游分析,而在 RNA 定量上这两个差距还是很小,如果你去看这篇回复会发现 Lior 甚至使用了动画来展示两者区别很小,可谓精心准备。我在读这三篇文章时学到很多的论述方法与追踪验证方法,可以说很多方法现在还没出现在教科书中,但可以感到早晚会形成趋势。

凭心而论, Rob Patro 的文章就算是对 Lior 软件的改进也是值得发表的,因为当前科研基本都是N+1模式,都是在前人基础上做功课。但我也比较理解 Lior 为什么这么火大,首先在他眼里这两个软件本来就是一回事,凭什么发 Nature Methods,他自己那篇都没发这么好,另一方面就是 Rob Patro 文章在他看来有硬伤,速度也不快,效果也没那么好,评价标准还有问题。其实说白了也有点个人恩怨而不是就事论事,但在这些问题上你去要求当事人一碗水端平也很难。如同第一个案例所言,科学研究就是会掺杂各种主观情感,但作为旁观者,我们可以从中去学习他们讨论问题的方法,例如 Lior Pachter 教授的论证过程,虽然不如发表文章里那么逻辑完备,但思考步骤都是比较清晰的,而这个过程你在期刊论文中往往看不到,好比你看到的总是对方站在山顶但怎么爬上去的一般都不会写,但有时候这些看似琐碎的步骤却足够让你永远达不到那个高度。

顺带一提, Lior Pachter 教授的博客上还友情链接了 Andrew Gelman 教授的博客。我想说的是在国外是真真切切存在着通过博客的学术交流的,参与学者的水平也是相当强悍,而且不同于国内科研向公众号或博客满足于对论文的解读,这些博客上更多出现的是一种批判式讨论,而且夹杂了相当重的个人情绪,如果你打算阅读也是需要辨伪存真的,这本身对于提高科研思维也有帮助,所以我推荐高年级本科生、研究生跟科研一线的学者都可以去寻找自己感兴趣领域大牛的博客,省的每次找推荐审稿人都搞近亲繁殖,如果你能从这些火药桶博客里获得正面评价,那么恭喜你,科研对你并不是个坑。

其实类似的故事还有很多,你可以从这篇文章里出发用关键词去探索。我在前面的文本分析的文章中曾提到越是高端的论文,发表勘误的比率就越是很高,这说明前沿领域的研究不确定性是很高的,思想碰撞也很激烈。如果把社交媒体上的各类花式吐槽也算进去,你会发现科研领域有很多烧脑的故事,各路参与者也从来都不缺名校光环跟牛文加持,阴谋诡计、解释掩饰、爱恨情仇等可能被小心翼翼地埋藏在数据与图表之中,虽然看懂需要比较高的门槛,但也正是这种门槛屏蔽了围观群众,上演一幕幕精彩绝伦但需要自行判断的书剑恩仇。




https://blog.sciencenet.cn/blog-430956-1074307.html

上一篇:唐提保险、区块链与个性化
下一篇:主成分分析那些事儿
收藏 IP: 70.27.24.*| 热度|

23 姬扬 王从彦 李颖业 杨正瓴 文克玲 孟佳 武夷山 秦承志 张鹏举 刘永杰 张洛欣 王林平 李毅伟 黄永义 刘俊华 李欣海 王启云 张明武 emberash liyou1983 zjzhaokeqin xlsd advogato

该博文允许注册用户评论 请点击登录 评论 (10 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-19 03:53

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部