||
作者:TIM VINES
译者:罗曦阳
校译:王一雪
来源:https://scholarlykitchen.sspnet.org/2026/06/02/data-reuse-is-the-sincerest-form-of-flattery/
我们应该如何去判断一篇论文是否呈现了高质量研究?同行评议虽竭力甄别作者是否开展了严谨且具有相关性的研究,但受时间压力与资源限制(包括专业人才匮乏),判断结果可能存在偏差。
论文发表后的评价环节必不可少——每位读者都会形成独立判断,但如何系统收集并广泛传播这些评价,数十年来一直是学界难题。学界尝试过鼓励发表评论文章、开放论文主页或PubPeer等平台的留言功能、追踪X(原Twitter)上的学术讨论,以及举办线上期刊俱乐部等方式。
所有这些举措都面临着共同困境:公众注意力往往被存在诚信问题、结果争议或AI生成异常图片的论文吸引,绝大多数常规研究则缺乏有效评价信号。发表后的评论多聚焦“话题性”,而非研究方法的严谨性、结果与结论的有效性等核心学术特征。
论文引用是学术出版领域衡量研究关注度的首选指标。由于期刊声誉建立在论文间的引用关系上,出版商围绕引用数据的收集和量化构建了庞大的基础设施。尽管严谨的研究确实会获得大量引用,但信号噪声比极低。一项对引用情感分类的研究表明,约 80% 的引用仅为“提及性引用”——作者借此标注相关前期研究,以证明自己对研究领域有一定了解,而非认可研究质量。
引用已撤回的论文是不当行为,但引用相关但不严谨的研究却司空见惯,且与引用高质量研究获得相同的引用计数。这些提及性引用干扰了对严谨研究的评价信号。
论文间引用的根本缺陷在于缺乏“信任密度”,作者几乎无需付出努力即可添加引用,且引用薄弱研究不会产生任何实质性后果。只需找到相关论文,添加到参考文献管理软件,点击几下即可完成引用。即使后续发现被引用论文存在缺陷,引用关系依然存在,且通常不会影响对引用论文的评价。
好消息是,存在其他更具“信任密度”的引用形式。正如标题所示,最具信任密度的引用是数据引用,或更完整地说,是“论文-数据集-论文”的引用链(其他具有高信任密度的引用形式包括“论文-试剂-论文”和“论文-实验方案-论文”,二者均意味着后续研究人员对实验中重用的成果进行了广泛验证。)。当一篇论文生成新数据集,后续论文基于该数据集开展新分析时,就形成了这种引用关系。请注意,此处的“引用”是广义的——即使后续论文未正式引用被重分析的数据,重分析行为本身也意味着两篇论文/数据集之间存在关联。
首先,实现数据引用的前提是原始论文公开其生成的新数据集,这本身就是一个强烈信号,表明作者对研究结果有足够信心,愿意让他人获取底层证据。论文工厂产出的研究通常不会共享数据,而且(显然)只有共享数据的论文才能被判定为“可重用”,这或许是分析严谨性的最高标志。
其次,与浏览摘要后随意添加论文引用不同,数据引用意味着原始论文与后续研究之间存在更深层次的关联。要实现数据引用,作者必须反复阅读原始论文,理解数据集的生成方式和原因,然后检查数据集本身,才能开展重分析或重用。如果在任何环节发现原始论文或数据集存在问题,数据会被弃用,数据引用关系也不会形成。
因此,发现“论文-数据集-论文”的引用关系意味着其他研究人员已广泛验证了原始工作,并建立了足够的信任,愿意将自己的研究(乃至声誉)建立在重用的数据之上。
尽管约 50% 的研究论文描述了数据重用,但大多数识别数据引用的方法假阴性率极高:仅能在不到 2%的论文中发现数据重用的证据。因此,即使数据重用是高质量研究的有力证据,我们也无法可靠地检测到数据引用的发生,这一想法也因此停滞不前。
幸运的是,作者在重用数据时总会明确说明,因此在方法部分总能找到类似的表述:“我们的分析基于高覆盖度千人基因组数据中约鲁巴人(YRI)、欧洲人(CEU)和汉族人(CHB)的参考样本,数据已与GRCh38/hg38基因组版本对齐。”
但作者在提供重用数据集的标识符方面一直做得很差,在上述例子中,结合上下文可以推断数据来自千人基因组数据库。但GRCh38/hg38并非复用的数据,而是三个种群的参考样本。作者本应包含约鲁巴人样本的统一资源定位符(Uniform Resource Locator,URL)以及另外两个样本的URL。
上述例子还体现了另一种典型但毫无帮助的数据引用形式。作者引用了Byrska-Bishop等人的一篇已发表论文,但只有结合上下文才能明确作者重分析了Byrska-Bishop等人生成的数据集。这被计为1次“论文间引用”,但根据上下文,它显然也应被计为1次“论文-数据集-论文”引用,并为Byrska-Bishop等人的研究可信度加分。
另一个好消息是,新一代推理大语言模型可以帮助我们从作者对复用数据来源的混乱描述中重构可用的数据引用关系,例如PLOS开放科学指标的大语言模型版本。
当然,有人可能会合理地提出反对意见,认为数据共享和数据重用在不同研究领域分布不均,因此通过重构数据引用关系获得的信任信号也会存在差异。除了公开数据集并确保其可被发现,研究人员几乎无法采取其他措施促使他人重分析自己的数据。但至少,他们会因公开数据并允许重用而获得信任加分。
此外,这种领域间的差异是特点还是缺陷?从这个角度看,生成可共享数据集但缺乏数据共享文化的领域,其研究的严谨性和可靠性不如那些广泛共享数据的领域。提高数据重用的可见度,并最终为生成严谨、可重用数据的作者赋予认可,可能会激励所有领域更好地开展数据共享。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2026-7-16 16:19
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社