[求证] 李江：短效评价阻碍科学创新

以下转载的内容，不知道知否合理？感谢您的指教！

李江，2018-05-28，短效评价阻碍科学创新 精选

http://blog.sciencenet.cn/blog-1792012-1116106.html

基于短期时间窗口的科学评价指标不但没有鼓励创新、促进科学原创的发展，反而阻碍了科学创新。追求短期效益的评价方式有可能蒙蔽科学政策的双眼，最终削弱科技发展的潜力。

闵超 / 南京大学

注：图片来自参考文献[1]。

       开垦少有人涉足的科学领地，有可能收获重大的科学影响，但是同时也具有更高的风险与不确定性。由于采用了非常规的研究方式，这类研究常被称作“探索性研究”（explorative research），与基于常规方式的“开发性研究”（exploitative research）形成对照。可以预见，前一类研究中涉及更多“新颖性”（novelty），因而也有可能发现更多潜在的科学创新。

 然而创新的科学研究是否总是受人待见？科学政策制定者应该如何应对？荷兰莱顿大学Jian Wang等人[1]的一项研究揭示了科学研究的新颖性与其影响力之间复杂的关系及其对科学政策的启示。

如何判断科学新颖性

 科学研究中的新颖性容易感知，却不易衡量。Wang等人采用了一种“组合新颖性”的视角来量化科学研究中的新颖性。新颖性被定义为通过新颖的方式对已有的知识碎片进行重新组合。作者指出，这种定义有其理论渊源[2-7]。具体操作上，作者仿照Uzzi等人的做法[8]，将一篇研究论文的新颖性量化为它在多大程度上以新颖的方式重新组合先前的知识碎片，而知识碎片则以期刊作为衡量单位。与Uzzi做法不同的是，作者关注的是一篇研究论文的参考文献中出现的某对期刊，先前是否已被其他文献同时引用过。

 以2001年Web of Science收录的所有论文为例，计算新颖性的流程如下：

1. 为每一篇论文检索它引用的所有期刊，并将这些期刊配对。

2. 为每一对期刊，检查它们是否同时出现在Web of Science以往收录的论文中。如果没有出现过，则认为它们是一对新期刊。

3. 为每一对新期刊，计算它们前三年中同时被引用的次数，从而得到所有期刊对的共被引矩阵。利用矩阵中的向量，计算一对期刊被“组合”在一起的容易程度。

4. 对每一篇论文，汇总它引用的所有期刊对被“组合”在一起的容易程度，从而得到这篇论文的“组合新颖性”。

 由于得到的新颖性数值呈现出高度的偏态分布，作者进一步将新颖性分为三个类别：（1）非新颖，一篇论文没有引用新的期刊对；（2）中度新颖，一篇论文引用了至少一对新期刊，但是新颖值低于同领域论文的前1%；（3）高度新颖，一篇论文的新颖值位于同领域论文的前1%。

     当然，作者也指出，“组合新颖性”并非取得科学突破的唯一方式。科学上的突破可能来自一次灵光乍现的新观测，来自全新仪器的建成，来自一个新物种的发现，等等，而新颖性自身也并不等同于科学突破。

新颖的研究具有高风险性

     结果显示，高新颖性的论文其引文数量的分布高度分散，离差比非新颖的论文高出18%；而中度新颖的论文与非新颖的论文在引文分布的离差方面没有显著的区别。这种现象的原因在于，那些高度新颖的论文，有一部分的引文数量非常高，而有一部分的引文数量非常低，反映出它们在影响力方面的高度不确定性。与此形成对照的是，中度新颖的论文中有相当部分的引文数量很高，而只有很少论文的引文数量很低。

新颖的研究具有高收益

    尽管新颖的研究面临着高风险，但是它们同时有更大的可能做出突出的科学贡献——成为“大受欢迎的论文”（big hits）。这里，“大受欢迎的论文”定义为在相同年份、相同学科领域内被引次数居于前1%的论文。结果显示，高度新颖的论文与中度新颖的论文在成为“大受欢迎的论文”方面，分别比非新颖的论文高出57%与13%的几率。同时，研究还发现，高度新颖的论文更可能被其他“大受欢迎的论文”引用。因此，高度新颖的论文不但自身更可能成为“大受欢迎的论文”，而且也更可能激发能够产生重要影响的后续研究。

新颖的研究具有跨学科影响

 控制论文被引次数以及其他变量相一致，高度新颖的论文与中度新颖的论文均比非新颖的论文被更多的学科所引用，多出的学科类别比例分别是19%与11%。除此之外，新颖的论文在本领域之外拥有更高比重的引文，而且外领域与本领域之间的距离也更大。这表明新颖的研究比非新颖的研究具有更大的跨学科影响力，其影响范围能够达到更远的科学领域。进一步的分析显示，新颖研究的这种高影响力更多来自外领域的高引用量，而非本领域的引用。

新颖的研究被延迟认可

 高度新颖的论文在发表三年以内很少成为高被引的论文。而从发表之后的第四年开始，高度新颖的论文明显更多地成为高被引论文，它们对非新颖论文的优势随着引文时间窗口的增加而增加。并且，对新颖论文的这种延迟认可不仅存在于发表论文的原领域，还存在于原领域以外的领域中。

短期指标是否阻碍了创新

       Wang等人进一步阐释了研究发现的政策启示。他们认为，新颖研究的延迟认可属性对于文献计量指标在科学政策制定中的使用具有直接的启示。由于新颖的研究容易遭遇延迟认可、需要足够长的引文时间窗口来展现其主要影响，那些基于短期引文窗口的文献计量指标事实上将科技政策导向了阻碍科技创新的歧途。这些指标的广泛使用有可能使新颖的科学研究及其从事者埋没于各类排名中，阻碍科学发展的进程。基金资助机构、人员聘用机构、科学评估机构都应采取更丰富、多元的评价方式保证科学创新的长远发展。

[1] Wang, J., Veugelers, R., & Stephan, P. (2017). Bias against novelty in science: A cautionary tale for users of bibliometric indicators. Research Policy, 46(8), 1416-1436.

[2] Arthur, W.B., 2009. The Nature of Technology: What It Is and How It Evolves. Free Press, New York, NY.

[3] Burt, R.S., 2004. Structural holes and good ideas. Am. J. Sociol. 110 (2), 349–399.

[4] Mednick, S.A., 1962. The associative basis of the creative process. Psychol. Rev. 69 (3), 220–232.

[5] Schumpeter, J.A., 1939. Business Cycles; A Theoretical, Historical, and Statistical Analysis of the Capitalist Process, 1 st ed. McGraw-Hill Book Company, Inc, New York, NY; London, UK.

[6] Simonton, D.K., 2004. Creativity in Science: Chance, Logic, Genius, and Zeitgeist. Cambridge University Press, Cambridge, UK; New York, NY

[7] Weitzman, M.L., 1998. Recombinant growth. Q. J. Econ. 113 (2), 331–360. Retrieved from. http://www.jstor.org/stable/2586906.

[8] Uzzi, B., Mukherjee, S., Stringer, M., Jones, B., 2013. Atypical combinations and scientific impact. Science 342 (6157), 468–472.

感谢您的指教！

感谢您指正以上任何错误！

感谢您提供更多的链接！