数字科学交流团队分享 http://blog.sciencenet.cn/u/dsc70 武大

博文

冗余在研究中的价值

已有 3780 次阅读 2019-9-15 11:05 |个人分类:科学交流|系统分类:海外观察

引用本文请注明出处

作者:David Crotty 译者:左涛;校译:宁莎莎

来源:https://scholarlykitchen.sspnet.org/2019/08/19/the-value-of-redundancy-in-research-or-in-research-redundancy-has-value/

学术交流改革的一个共同目标是消除这一过程中的低效。上周,Tim Vines撰写了一篇关于eLife的新同行评审工作的文章,旨在解决“评审—拒绝”这一循环,Tim将其描述为“当前体系中最大的低效之一”。虽然研究界的每个人都希望提高效率,但重要的是要认识到冗余在研究和评估过程中的价值。冗余是系统的一个特性,而不是错误。

单一文化构成了不健康的生态系统,因此,将整个研究文献交由一个单一的、集中的权威机构进行评估,然后期刊再将根据该权威机构的评判来做出接受或拒绝的决定,这种想法不会很好地服务于社区。是的,我们确实在研究人员身上浪费了大量的时间和精力,他们把自己的手稿提交给不合适的期刊,然后重复这个过程,直到找到合适的。研究人员通常很难公平地评估自己的工作,而研究人员的评估系统又为最终接受论文的期刊的排名提供了切实的激励,这进一步加剧了问题。

也就是说,大多数研究人员都有过这样的经历:向期刊提交论文时,感觉评审过程不公平,或者被选择的同行评审员没有完全“理解”项目的价值。在这种情况下,重要的是要有替代方案,如另一个可进行评审的地方,以及另一个领导评审过程的权威机构。

在这种情况下,作者希望第二次审查过程能尽可能客观,用一种看待新鲜事物的眼光来看手稿,不受第一组评论者最初的负面评论(被认为是不公平的)所带来的偏见的影响。这就是为什么大家常常反对期刊之间分享被拒论文评论这一提议的原因之一。从零开始确实会给期刊和审稿人带来额外的工作量,但这是有必要的,可以抵消有问题的审稿的影响,并帮助论文找到合适的渠道和读者。

如果生命科学领域的所有论文都像建议的那样作为预印本提交给bioRxiv,然后由某一特定期刊或出版商的编辑人员公开对这些文章进行筛选,那么进一步客观审查的能力就会大大降低。如果评审人员希望不带偏见地处理评审作业,他们就必须积极避免阅读预印本和bioRxiv上的这些预评审的评论。

这种担忧与大型期刊(megajournal)早期提出的反对意见类似——如果一家公司完全遵循大型期刊的概念,那么市场最终将被整合成一家巨大的大型期刊,出版所有被认为在方法上有效的东西。如果一位作者的论文被拒,他将无处可去,因而被排除在谈话之外。拥有大量的投稿渠道可以确保作者得到公平对待。

冗余发挥作用的另一个方面是努力推动负面结果的发布。在这里,我们看到对研究人员详细描述失败和错误方法的要求,以帮助防止未来的研究人员再次重犯这些错误。同样,目标是提高效率,减少死胡同实验的重复和项目的浪费。但冗余也是有价值的。当一个实验方法不能产生结果时,我们不可能知道是这个方法有缺陷,还是因为研究人员不能充分执行这个方法而导致失败。

我们制定了一个潜在的癌症治疗方案,方案很好,但是在研究台上,科学家不小心用氢氧化钠代替氯化钠制造了他们的细胞培养液。也许他们最喜欢的那首歌是在他们搅拌试剂的时候在耳机里随机播放到的,分心导致他们从架子上拿错了瓶子。细胞培养条件的改变导致了治疗失败。结果报告将会与正确制造了试剂的报告相同,但这个报告说明的是治疗本身存在缺陷,而非实施过程。如果这是文献的一部分,而没有其他人试图重复这种方法,那么我们就失去了一个潜在的重大健康突破。

感知到的“可重复性危机”促使人们要求进行验证性实验,重复已发表的重要结果。如果我们对积极的结果都持怀疑态度,为什么在没有确认的情况下会更愿意接受消极的结果呢?如果一种方法必须重复,另一种方法却不应该重复,这难道不会降低效率吗?

当多个团队致力于解决相同的研究问题时,也会出现冗余。虽然看起来效率不高,但许多不同的方法将增加成功的可能性。除了猖獗的性别歧视和挑战道德底线的行为,最令人惊讶的一个事例是,沃森的双螺旋结构是他和克里克最初被告知不要在DNA结构方面进行的工作,因为另一个研究小组已经在研究这个项目,这对他们而言不公平。对现代科学家来说,这似乎是高深莫测的。解决问题的许多努力都会失败,但这并不意味着它们没有价值,或者说它们是研究中应该消除的冗余。

同样,我们应该认识到系统中其他地方冗余的价值。eLife的同行评审建议中最积极的一方面是,它将大大增加同行评审过程中的冗余。它要求不断地对论文进行评估和再评估,对同行评审所花费的时间和精力进行指数级的扩展。尽管我对这种方法的实用可行性提出了质疑,但我也认识到同行评审产生的是主观意见,而不是客观评价,而且这些意见依赖于个别评审人员,并会随着时间的推移而变化,这显示了在同行评审过程中构建冗余的价值。把事情做好比把事情做得有效率更重要。




https://blog.sciencenet.cn/blog-521339-1198014.html

上一篇:什么是区块链?你需要关注它吗?——为心怀困惑的学术出版者写作的指南
下一篇:学术和科学的质量标准:提出其相互作用的可视化
收藏 IP: 111.60.84.*| 热度|

2 强涛 段含明

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-23 10:28

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部