论文标题中的连字符危害被引频次和期刊影响因子

诸平

As more hyphens appear in a paper title, its citations will decrease. This phenomenon applies to all major subject areas, regardless of the quality of the publication. Credit: @The University of Hong Kong

之前有人研究过论文标题长短与被引频次之间的关系，发现论文标题长短与被引频次成反比，论文标题越长，被引的几率越低，也有人曾经讨论过合作度对被引频次的影响，合作都高者被引频次较高。2019年5月31日，香港大学（<span style="font-size:13px;font-family:"&color:black;text-underline:none">The University of Hong Kong, HKU）在物理学家组织网（Phys.org）撰文指出，论文标题中的连字符危害论文的被引频次，进而牵连到期刊的影响因子（JIF）。如果论文标题中出现更多的连字符，其被引频次会减少。而且指出这一现象适用于所有主要的学科（包括生物学、化学、数学、物理学、医学以及计算机科学等）领域，不论出版物的质量如何。相关研究结果于2019年5月7日已经在《IEEE软件工程学报》(IEEE Transactions on Software Engineering)网站上发表——Zhi Quan Zhou ; T.H. Tse ; Matt Witheridge. Metamorphic Robustness Testing: Exposing Hidden Defects in Citation Statistics and Journal Impact Factors. IEEE Transactions on Software Engineering (2019). DOI: 10.1109/TSE.2019.2915065（点击可以免费浏览原文） 

根据最新的研究结果，无论文章质量如何，学术论文标题中简单连字符的存在都会对引文统计产生负面影响。这一现象适用于所有的主要学科领域。因此，在世界范围内，经常用于教授评估的引文数和期刊影响因素是不可靠的。

这一突破性的发现对确定论文、期刊和教授的贡献的游戏规则提出了根本性的挑战。它是在一篇名为“变质鲁棒性测试:揭示引文统计和期刊影响因素中的隐藏缺陷（Metamorphic Robustness Testing: Exposing Hidden Defects in Citation Statistics and Journal Impact Factors）”的论文中提出的，该论文2019年5月7日发表在该领域的顶级期刊《IEEE软件工程学报》(IEEE Transactions on Software Engineering)网站。

T.H. Tse是HKU计算机科学荣誉教授。周志泉(Zhi Quan Zhou音译)博士毕业于香港大学，现任澳洲伍伦贡大学（University of Wollongong）软件工程副教授。马特·威瑟里奇（Matt Witheridge）是伍伦贡大学的博士生。

Scopus和Web of Science是两个领先的引文索引系统。Scopus提供引文统计数据，以支持泰晤士报高等教育世界大学排名（Times Higher Education World University Rankings）和QS世界大学排名（QS World University Rankings）。Web of Science提供的统计结果支持主要期刊排名的期刊影响因子。由于这两种索引系统的重要性，保证它们的质量至关重要。特别是，鲁棒性测试是指验证系统处理错误输入或意外情况的能力。例如，如果在引用论文标题时出现一些小的拼写错误，索引系统能否正确处理引文?

T.H. Tse教授和他的团队成员提出了一种创新的方法——“变质鲁棒性测试”来验证Scopus和Web of Science。深入研究发现，这两种系统都存在鲁棒性缺陷，可能会导致标题中有连字符的论文出现错误的引用计数，因此随后计算出的期刊影响因子是有问题的。

回到2015年，Letchford和他的同事对Scopus进行了一项大规模的研究，发现标题较短的论文比标题较长的论文更容易被引用。详见Letchford A, Moat H S, Preis T. The advantage of short paper titles. R Soc Open Sci. 2015 Aug 26; 2(8): 150266. doi: 10.1098/rsos.150266.   

Paiva C E, Lima J P, Paiva B S. Articles with short titles describing the results are cited more often. Clinics (Sao Paulo). 2012; 67(5): 509-513. doi: 10.6061/clinics/2012(05)17

相反，T.H. Tse教授和现在的研究小组发现，实际上，标题中连字符的数量才是影响引文数量的主要因素。通常，连字符的数量与文章的标题长度有关，从而产生了引文数量依赖于标题长度的误解。

引文实践因学科领域而异。某些领域的出版物可能比其他领域的出版物有更高的系统引用数。例如，有人可能会争辩说，在化学领域的论文(论文标题通常带有连字符作为化学命名法的一部分)只得到相对有限的引用数量，从而导致连字符与引用之间存在虚假的负相关关系。因此，该团队对特定学科领域的期刊进行了重点研究。结果表明，即使本研究仅局限于某一特定学科，连字符也会对论文的引用数量产生负面影响。

为了建立在文章和学科层面研究结果的基础上，研究小组调查了期刊层面论文标题中连字符的影响。期刊影响因子(JIF)是确定学术期刊被引频次的常用指标。它经常被用来表示期刊在其领域内的相对重要性。一项软件工程领域的研究表明，JIF排名越高的期刊发表的带有连字符标题的论文比例越低。研究小组进一步分析了研究的有效性，避免陷入因果关系等同的陷阱。

T.H. Tse教授说：“我们的研究结果质疑了学术界、政府和资助机构的普遍看法，即引文数量是衡量论文贡献和重要性的可靠指标。事实上，它们可以被文章标题中连字符的存在所扭曲，这与研究的质量无关。同样，我们的研究结果也对期刊影响因素的有效性提出了挑战。“”这些令人惊讶的结果不仅让寻求终身职位或晋升的教授感兴趣，也让总裁、院长和主管等高级管理人员感兴趣。因为它们适用于任何大学的所有院系。”更多信息请注意浏览原文或者相关报道。

Abstract:

We propose a robustness testing approach for software systems that process large amounts of data. Our method uses metamorphic relations to check software output for erroneous input in the absence of a tangible test oracle. We use this technique to test two major citation database systems: Scopus and the Web of Science. We report a surprising finding that the inclusion of hyphens in paper titles impedes citation counts, and that this is a result of the lack of robustness of the citation database systems in handling hyphenated paper titles. Our results are valid for the entire literature as well as for individual fields such as chemistry. We further find a strong and significant negative correlation between the journal impact factor (JIF) of IEEE Transactions on Software Engineering (TSE) and the percentage of hyphenated paper titles published in TSE. Similar results are found for ACM Transactions on Software Engineering and Methodology. A software engineering field-wide study reveals that the higher JIF-ranked journals are publishing a lower percentage of papers with hyphenated titles. Our results challenge the common belief that citation counts and JIFs are reliable measures of the impact of papers and journals, as they can be distorted simply by the presence of hyphens in paper titles.