说明：本博客与微信公众号“林墨”同步更新，所有内容均为原创，可授权转载请扫码关注“林墨”公众号。

基于短时间窗口的引文评价往往是不可靠的，因为这时论文发表的时间较短，论文还未被充分引用。而现实的科研评价活动往往很难等上10年甚至更长的时间再去进行评价。如何解决这一两难的问题？

王兴/ 山西财经大学

注：图片来源于百度

前几年，几位毕业于清华、北大的医生朋友们在北京开了一家烧烤店，食客们可凭自己所发表论文所在期刊的影响因子高低获得不同程度的折扣，该新闻引起了大家的广泛关注。这个创意很有趣。可人们不禁要问，不同学科的影响因子可比吗？如果是来自数学等期刊影响因子本身就不高的领域的学者们来该店吃饭岂不是很吃亏。

实际上，由于不同学科的引用习惯不同，不同学科的论文被引次数或期刊影响因子是无法直接进行比较的。那如何尽可能地实现不同学科被引次数公平合理的比较呢？这时就需要用到“学科标准化方法”。学科标准化方法（指标）就是为了消除论文被引次数的学科差异而进行数学变换的方法。通过变换，使得不同学科标准化后的被引次数（即学科标准分）可以直接进行比较。目前学界已经提出了多种学科标准化方法（指标），例如：最简单常用的比均值法：各学科领域的论文被引次数都除以本学科领域论文被引次数的平均值，然后再进行比较。

尽管目前学界提出了多种学科标准化方法，但是学科标准化方法在应用中的一个基础问题目前还没有得到很好的解决：短时间窗口下的学科标准化指标往往是不可靠的。例如文章发表2年后，按标准化方法得到的学科标准分用于科研评价是不可靠的。因为这时论文发表的时间太短，论文还没有充足的时间获取被引次数，这时计算出来的标准分用于科研评价当然是不可靠的。Jian Wang（2013）的研究发现论文发表2年后的被引次数与发表31年后被引次数的相关系数仅为0.592[2]。学界有研究表明依靠标准化方法本身并不能解决这一问题。然而，现实的科研评价活动中往往很难做到等到论文发表10年甚至更久的时间再去进行评价，这似乎是一个两难的问题。

我们提出一种解决思路：我们根据每篇论文所在的时间窗口分配给每篇论文的学科标准分一个权重，以表示该篇论文学科标准分的可靠程度。论文发表时间越短（长），学科标准分的可靠性越低（高），权重分配的也越低（高）。我们的权重由各学科引文的演化规律梳理计算得到（计算方法见原文）。这里举个通俗的例子，如果化学学科中的论文发表2年以后的被引次数和发表很长时间以后相对稳定时的被引次数的相关系数是0.55，那在科研评价时，一篇来自化学领域发表2年的论文的学科标准分就要乘以0.55，表示这篇论文学科标准分的可靠程度是0.55，说明这时论文的被引次数和最终稳定可靠时的被引次数只有0.55的相关度。

我们将上述权重与学界常用的一种名为CNCI的标准化指标进行加权，新的加权后的学科标准化评价指标命名为WCNCI，我们将WCNCI应用到大学层面的评价中。研究发现[1]：

（1）世界500强大学的CNCI得分与加权后的WCNCI得分有着很强的相关性。但是仍有相当数量的大学在加权后排名变动较大。例如：沙特的阿卜杜勒阿齐兹国王大学、阿卜杜拉国王科技大学的排名相较于加权前分别下降了221名和159名，而来自法国的波尔多大学的排名则上升了128名。

（2）排名的变动体现了某些地域特征。例如来自沙特、澳大利亚、中国大陆地区大学的影响力排名都普遍下降，而来自日本、中国台湾、以色列、德国等地区大学的影响力排名都普遍上升。

（3）排名的变动主要受三个因素影响，其分别为一所大学较老论文与较新论文的比例结构、一所大学的学科结构以及一所大学较老年份的CNCI得分与较新年份CNCI得分的比例。任何一所大学排名的变动都是这三个因素综合作用的结果。而上述排名变动所呈现的地域特征同样也是这三个因素综合作用的结果，我们也对呈现地域特征背后的深层次原因进行了讨论。

我们也对WCNCI指标与“皇冠指标”、“新皇冠指标”等经典的标准化指标进行了比较。WCNCI保留了新、老皇冠指标各自的优点，同时摒弃了这两个指标的缺点（原因详见原文）。我们提出的思路方法及WCNCI指标并非完美无缺，但它试图去解决短期引文评价不可靠的弊端。期待今后能有更好的方法来解决这一弊端，使得科研评价更加科学合理。

[1]  Wang, X., & Zhang, Z. (2020). Improving the reliability of short-term citation impact indicators by taking into account the correlation between short-and long-term citation impact. Journal of Informetrics, 14(2), 101019. https://www.sciencedirect.com/science/article/abs/pii/S1751157719302603

[2] Wang, J. (2013). Citation time window choice for research impact evaluation. Scientometrics, 94(3), 851-872.