引用本文请注明出处

作者：Rick Anderson；译者：罗婷；校译：宁莎莎

来源：https://scholarlykitchen.sspnet.org/2019/08/13/quality-criteria-in-scholarship-and-science-proposing-a-visualization-of-their-interactions/

这篇文章试图理清研究和书面研究报告的特定特征间相互作用的不同方式，特别是关于那些特征会影响一篇论文对现实世界的作用的方式。

我的结论以这个欧拉图的形式呈现：

以下是对图表所展示论点的解释——首先是涵盖所用术语的临时定义的快速列表，然后讨论这些术语在本图表背景下的含义。

定义

Rigor（严谨性）：基础研究的内在学术或科学稳健性和智力上的诚实性。

Impact（影响力）：无论好坏，学术研究在现实世界中的真正影响。

Significance（重要性）：文章产生影响的潜力。

Openness（开放性）：文章允许阅读和重用的可得性。

Cogency（说服力）：写作的严谨性、精确性和明晰度。

Accessibility（可达性*）：本文对一般读者的可理解性。

严谨性

我已经评估了许多学术论文，当我这样做时，我发现我总是被要求回答类似这些问题：

• 研究方法在科学上或逻辑上是否合理，是否可以控制中介变量或混杂变量？

• 数据是否严格按照方法收集？

• 作者的论点是否被数据支持？

• 作者是否避免提出未被数据支持的论点？

• 作者是否夸大结果的重要性或优势？

• 这篇文章写作是否清晰、有说服力？

不出所料，这些标准中大多数都与科学方法的一般规则密切相关，换句话说，“严谨性”问题倾向于围绕着研究遵从科学探究规则的程度这个问题展开。

现在，人们可能会立即回答：“等等，但人文研究呢？” 但事实上，人文主义者通常也期望彼此遵守科学方法的基本规则：历史学家应该对他们关于过去发生了什么的论点提出证据，而不仅仅是断言事件发生了; 文学学者期望彼此为他们关于一个作家对另一个作家的影响等论点提供证据支持。这些规则可能并不总是以完全相同的方式应用于各学科，但基本原理是普适的，即无论什么学科，学术研究需要诚实且严格地收集证据，并从这些证据中遵照逻辑得出结论以进行断言。

 “严谨性”对“重要性”和“影响力”两个特征都有影响，因为研究越严谨，就越有可能产生有效的发现，而有效发现更有可能对现实世界产生真正影响。

影响力

任何一项研究的实际影响将取决于许多因素，如它所影响的学科数量（广度）;对特定学科所产生的那些影响的重要性（深度）;受发现结果潜在影响的人群分布的有效性等。这意味着这种影响很大程度上取决于研究的重要性和相关报告的开放性，即我们可以得出报告内容的“可达性”和“说服力”也会影响到其“影响力”特征。显然，这并不是说相对封闭和/或无法访问的论文不会产生重大影响。例如，如果找到治愈癌症的方法，基于此写出的一篇高技术性的论文（因此，不太容易理解）被发表在了一个非常昂贵的收费期刊上（因此，不太开放），那么我们可以预测它在世界上的影响将会很小。如果具有阅读特权的少数人不是肿瘤科医生，在这种情况下，即使这篇论文不太开放、难理解，也会影响到很多人。

但“开放性”不能决定“影响力”并不意味着它们之间没有联系。显然，如果一篇论文能更广泛地可得，那么它就有更大的能力影响人们和系统，即使不是每个有权访问它的人都能充分利用这些内容。如果关于上述癌症期刊设想的所有内容都相同，只是期刊变成了开放获取（OA），那么“开放性”会降低结论“影响力”的说法就缺少合理的理由；要是真有什么的话，“开放性”应该增加“影响力”。（论文的“开放性”是否会对论文的“影响力”产生不合理的或者至少是非理性的负面影响？是的。例如，这些研究结果可能被某些肿瘤科医生忽视，仅仅因为它们在OA期刊上发表。但在这种情况下，是无知而不是“开放性”降低了论文的“影响力”，甚至我想这种负面作用必将是短暂的。最终，治愈癌症的方法还是会起效果。当然，这种负面影响可能在其他领域和学科更为长久。值得关注的是，“影响力”并不一定意味着“积极的影响力”。当一篇论文宣传危险、无效的癌症治愈方法时，它越开放，则可能产生的“影响力”就越负面。）

那么研究质量对“影响力”特征的作用效果如何呢？当然，在一个完美的世界中，一项研究的质量越低，其产生的效果就越小。不幸的是，我们的世界并不完美，低质量的研究还是会经常有所效果。同样，这两个特征相互作用，尽管一个特征可能不会严格地导致另一个特征。

重要性

由于“重要性”可能是一个含糊不清的术语，我将基于本次模型给出一个临时定义， 即“重要性”是指“文章创造影响的潜力”。显而易见，这种潜力大小将决定其实际“影响力”的程度。

文章内容的重要性高低是否取决于其开放性程度呢？这要看“重要性”是被视为与潜在“影响力”有关还是与真正的现实“影响力”有关。

例如，假设我发现了治愈癌症的方法，但是没有告诉任何人。那我的发现重要吗？按理说是重要的，因为有其内在价值。如果“重要性”这个特征最关键的是发现结果的潜在影响力和重要性，那么无论我的这篇文章是否发表，无论是发表在仅供专家阅读的收费期刊还是可以被免费获得的在线知识库，其“重要性”都是相同的。然而，倘若“重要性”是被真正的现实影响所衡量，那么如果我没有将发现结果与其他任何人分享（没有利用这个信息去治愈任何人的癌症），我的文章将没有一点“重要性”。

这个模型中“重要性”和“质量”之间的真实但不完全的重叠表明，研究结果的有效性（通过论文的内在学术质量衡量）与这些研究结果的现实影响（通过论文测量的内在重要性衡量）之间存在有意义的相互作用。换句话说，如果研究结果是欺诈性的并且癌症治愈方法不真实，那么报告发现治愈方法的论文就不那么重要了。错误的发现可能会产生很大的公众反应，因此似乎也具有重要性。但本模型不是解决公共关系意义上的“重要性”，而是针对学术和科学的内在意义。据此，只有真正的发现结果才具有“重要性”。

开放性

开放性——允许阅读和重用的文章的公共可得性，它对文章产生“影响力”的能力有一定作用，但不与任何其他变量交互。为什么呢？因为无论文章的发表地点或方式如何，高质量或高重要性的文章都有着相同的内在品质。它可能发表在Lancet 或欺诈性的掠夺期刊上，但如果它是对重要的、严谨的研究进行有说服力的报告，那它的内在品质就是相同的。同样，无论文章是在何处发布或在什么版权条款下，文章对于一般读者的理解难度和在书写上的严格性、清晰性都是相同的。用本文建立的术语来说，即文章在“可达性”和“说服力”上相同。

这是一个非常重要的观点，因为它违背了一个似乎越来越受欢迎的想法，即“开放性”应被视为“质量”中不可或缺的一部分。例如，这种态度反映在列日大学的现行政策中，根据该政策，教职员工的出版物只有被存放在大学的机构知识库中，才能在争取任职时被考虑入内。这些政策使得学术“严谨性”和“重要性”变得次要，以支持特定的出版和发行模式。这种政策得出的逻辑结论是，如果教职员工发现治愈癌症的方法，并将其发布在收费期刊上而未存入机构数据库中，那么当她申请任职时，发现癌症治愈方法一事则可能不会被考虑。显然，这是荒谬的；它意味着对机构而言，研究者真正的科学成就和贡献还不及她选择如何并在何处发表她的作品重要。

在这种情况下，值得注意的是“开放性”不仅是书面研究报告的特征，也是研究过程和实践本身的特征。例如，使用电子实验室笔记本以使数据在生成时可以实时公开可用的研究会更加开放，这也例证了“开放科学”与更狭隘的“开放获取”概念间的差异。

说服力

 “说服力”与写作的质量有关，因此仅适用于一项研究的书面报告，而不适用于研究本身。这里关键是要注意写作的质量不是一个虚饰，即它不是给优质的科学或学术研究锦上添花。如果写作不符合逻辑，缺乏连贯性，不够真实，那么这会严重破坏文章的价值。写作的“说服力”显然对研究本身的内在严谨性和有效性毫无影响；扎实的研究仍一样扎实，结果还是相同的结果。或者换一种说法，如果你发现了治愈癌症的方法，但在撰写研究报告时较为差劲，且不够真实，这也不会降低治愈方法的有效性。但是，思考的草率或有意识的欺骗会歪曲研究，进而在研究结果和能从知晓和理解结果中获益的组织之间强加了一个具有破坏性的混淆层。“说服力”不应与“可达性”混淆，但它们之间的联系也是显而易见的。

可达性

请记住，对于我们的目的而言，“可达性”意味着“对普通读者的可理解性”，显然“说服力”和“可达性”相互影响，并都与“影响力”相互作用。具体来说，比起仅被少数专家理解的研究，被广泛理解的研究更有机会影响世界，尽管只有少数专家才能理解的研究仍然可以对世界产生显著影响。撰写研究成果时，有说服力的表达会比糟糕或带误导性的表达更可能影响世界（所有其他条件相同）。

尽管如此，需要重点记住的是“说服力”和“可达性”并不是一回事。正如我在之前的文章中所论述的那样，对于高度技术性的学术材料来说，有说服力的表达可能仍无法避免地会使那些缺乏理解所需基础知识的人觉得难懂。而且没有人有时间获得每个学科的基础知识，因此即使有意义的内容或准确性没有缺失，也总会有一些文章无法让每个公众都能轻松理解。

另一个值得记住也是常在关于学术交流的“开放性”的公共话语中被忽视的基本事实就是，大多数情况下我们不是生活在二元世界中。例如，当提到“开放性”时，将学术研究描述为“封闭的”（“锁定”）或“开放的”并不总是正确，在“开放性”和“封闭性”之间仍存在着广泛的频谱，而几乎所有文章都是介于该频谱的两极之间。如，撰写但从未发表或以其他方式分发的文章可以说是完全封闭的；比起发表在更易付得起的收费期刊上且允许作者在无禁令的情况下自存档的文章，那些发表在昂贵的收费访问期刊上且不允许作者自存档的文章更为封闭；而发表在采用CC-BY-NC-ND许可协议的免费阅读期刊上的文章比这些发表在收费期刊上的文章更开放，但不如发表在采用CC BY许可协议的期刊上的文章那么开放。忽视“开放性”的频谱性质，并将每一个在各个方面没有完全公开的出版表现形式描述为封闭的，这可能在修辞表达上很轻松，但它阻碍了对那些重要问题的进一步理解。（为了更好地讨论这种动态性，请参见Open Scholarship Initiative关于“DARTS框架”的工作。）

这里讨论的所有其他特征也是如此，“可达性”“说服力”“影响力”“重要性”等等，所有这些都是频谱值，而不是二进制值。

 据此最后提出一个非常重要的观点，即虽然我们经常将“影响力”作为一个拥有明确含义的术语用于学术交流的背景下，但它在口语表达上也具有重要含义。 论文对某人或某一群体的“重要性”和对另一个人或群体的“重要性”是有差别的，“开放性”对“影响力”的作用方式也会因出版物而异。该欧拉图试图表明出版物的各种属性相互作用的区域，但这些交互的性质会因情况而异。

注：“可达性”还存在另一个重要维度，那就是“对有各种知觉挑战的人们来说是可达的”。从我们的目的来看，我将这一术语的意义涵盖在了“对一般读者可理解”的想法中。例如，一篇文章可能不太容易理解，因为它的文字密集且专业，或者因为读者有阅读障碍，或者因为文章是以一种难以被人看清的字体呈现的。 不管哪一种情况下，结果都是该文档的内容较难被理解（无论文档的开放程度如何）。这意味着，除了其他方面之外，“可达性”（不像，比如说，“严谨性”，“开放性”，可能是“说服力”）永远不会是一个完全客观的衡量标准。