|
同行评审是为了控制学术出版质量。爱思唯尔的一项研究发现,82%的研究人员认为同行评议对于保持科学交流的可控性而言必不可少。同行评议能够保障科学的有效性,这在虚假信息横行的时代至关重要。但它并不完美,有其局限性。
几乎没有研究人员否认同行评议的重要性,但许多人认为当前同行评议系统存在缺陷。
出版界为了克服这些缺陷,正在引入新的同行评议模式和新兴模式(如预印本和开放科学)。因此很有必要思考同行评议的局限性。
尤其对于年轻/初级研究人员来说,了解同行评议的局限性,才能更好地理解自己作为一个负责任科学家的职责。这对研究员自身、所研究的领域、大众科学都有益。
同行评议专家都做什么 本文介绍同行评议的局限性。如果您了解同行评议应做什么,就能更好地理解它做不到什么。 同行评议专家通常要:
判断某稿件是否会引起读者的兴趣
判断某研究是否新颖,是否有新发现或补充现有研究
确定稿件的影响力
设法识别抄袭
设法识别虚假或捏造的数据和研究结果
检查研究结果、结论和建议的科学基础,确保其有效性
从文章是否可读、表述是否清晰和语气是否恰当等方面检查写作质量
当然以上所列并不全面。热门电影《不要抬头》中反复提及,同行评议非常重要,几乎等同于有效研究。这种说法可能有点夸张。 同行评议职责对于不拿报酬的评议专家来说要求很高,而且要花不少时间来完成。他们做得好不好,投入多少时间,以及是否“成功”都取决于投入的时间和精力、对课题的熟悉程度,以及个人偏见等因素。人非圣贤,而同行评议专家毕竟也是普通人。 同行评议专家做不了什么 如上所述,科研人员对同行评审专家的期待很高。即使有这样一个“购物清单”,还有很多他们不做的事,那就是同行评议的局限性,包括以下几方面。 检查统计数据 同行评议专家只是:您的同行。这并不意味着他们是统计学专家(除非您是统计学研究人员)。因此,同行评议专家不可能精通所有类型的统计分析。 他们可能了解在您研究领域中对产生的多种数据类型进行常见和适当检验的方式。在STEM和HSS定量领域,他们可能知道单因素方差分析是通过秩和检验或卡方检验实现的。 他们通常只能识别实验方式或结果中的明显错误。同行评议专家不会重新计算(除非出现明显错误,而且他们知道如何进行快速检查),期刊也不期望他们这样做。 检查原始数据 同行评议专家也不检查原始数据。或者,至少通常不会要求他们这样做。这会使得审查过程极度繁琐、更费时,现在的同行评议已经非常耗时了。因此,在评审专家看到的草稿中,收集原始数据的问题并不明显。 如果确实发现了统计分析方面的问题,他们提出的纠正建议可能也很有限,因为回头去利用原始数据纠正相关问题是作者的责任,然后针对修改要求撰写一封完善、有说服力的答复信。 重做实验,测试可重复性 就像要求评审专家检查所有的原始数据并不现实一样,重做实验亦是如此。 评审专家确实会检查稿件是否提供了足够详细信息,以便在他们想要的时候重现实验。但实际上,这种验证工作远远超出了同行评议的“服务”范围。 核实作者的详细资料 学术出版界一直关注如何定义并识别恰当的作者身份。部分稿件被发现列出了虚假作者和从属关系,甚至出现被列为作者,但本人却毫不知情的情况。 智利的一项有趣的研究甚至探索了Scopus索引文章,从科学层面揭露了这种做法。 同行评议专家有可能熟悉稿件列出的研究员,但大多数情况下并不熟悉,也可能他们在对稿件进行盲审(并不知道稿件的作者是谁)。 检查全部作者是否真实、从属关系是否正确是非常困难的,还浪费评审专家的专长。所以,现在的情况是,要靠作者自己的诚信。ORCID等检查系统越来越多,现实证明它们在这个领域很有价值。 核实利益冲突 利益冲突(COIs)严重影响了人们在某项研究中感受到的倾向性。因此,不言而喻,声明潜在利益冲突对每篇稿件而言都非常重要。也就是说,同行评议专家几乎不可能核实和研究作者声明的有效性,或发现他们可能遗漏的利益冲突。 评审专家当然会查看作者声明,并在稿件中标出其发现的任何相关倾向性,但也仅限于同行评议工作的预期职责范围。 优秀的研究人员有助于消除同行评议的局限性 在理想的世界里,所有问题都能在文章发表前发现,但在当前体系下却不现实。 同行评议仍然是必不可少的检查程序,有助于优化文章,并发现可能影响结果解读的重大缺陷。 牢记这些,希望能帮您认识到,您读到的研究都并非完美。但是一个领域发表文章的人越多,我们就越能更好地解读哪些研究的影响力更大。 阅读文章时要保持批判眼光,发现已发表文章存在缺陷时,不要急于攻击整个出版体系。 作为一名研究人员,严格检查自己的数据,明确您对作者身份的理解,做好自己的工作。 尽管不会太快,但总有一天新的同行评议模式会出现,上述所列的问题在未来都有可能成为过去式。 为了在同行评议过程中领先一步,您可以让理文编辑专家对您的稿件进行专业编辑,提交参加我们的专家科学评审(基本属于同行评议之前的同行评审),并选择适合您的研究成果的期刊。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-23 21:58
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社