博文
关于自然指数的讨论
精选
|||
关于自然指数的讨论
北京大学 贺飞
自然出版集团2014年11月首次发布了自然指数，其目的是提供一个关于全球高质量研究产出模式的指标，用于追踪作者或机构在68种全球一流期刊的论文发表情况，这些期刊由在职的全球68名活跃科学家组成的独立小组，投票选择出其最喜欢的10种且愿意发表其最好科学工作的期刊而独立选出。随后将这一投票结果通过邮件发给全球10万名生命、物理和医学领域的科学家投票确认。这个庞大的科学家群体地理分布很广，但其中仅有2,800 (2.8 %)回应了调查。作为自然指数一部分的68种期刊，占汤森路透WOS数据库中的总期刊数量少于1%，但占了自然科学引用的30%。
自然指数提供了三个指标：原始论文数(AC),分数论文数(FC)以及加权分数论文数(WFC)。这里AC是机构或国家的论文总数，FC考虑了作者数及其贡献(来自其他国家或机构),WFC进一步引入了权重: 因为天文学和天体物理学期刊较其他学科发表了过多的论文(大约多5倍)，天文学和天体物理学期刊的FC被赋予一个0.2的权重计算WFC。当前的自然指数(时间段为2014年5月1日-2015年4月31日)可在网址 http://www.natureindex.com查询。
这一最新的评价指标发布后，立即引起科学界的强烈反响，来自德国马普所的两位科学家Robin Haunschild和Lutz Bornmann2014年12月23日在《科学计量学》期刊刊发了他们对这一指标的4点批评意见，并指出这一指数的主要问题似乎是用绝对数而没有归一化以及再次引入基于期刊的声誉来测度质量，而不是根据单篇论文的质量（影响力），由此开启了对这一评价指标的讨论。
这两位科学家的4点批评意见如下：
l 第一，自然指数的指标依赖于国家和机构论文产出的绝对数量，而不是这些论文的质量或影响力。根据自然指数使用绝对数量，哈佛大学根据AC、FC和WFC的排名均低于中国科学院。如果替代以归一化指数(例如相对同一时段的总论文数)，结果会改写。根据这种相对AC, 哈佛大学的排名将要高于中国科学院。
l 第二，为什么要由68名科学家提议自然指数的68种期刊的原因不充分。换句话说，自然指数也可以由150名科学家提出100种期刊。此外，在选择期刊时如何考虑不同学科的差别也不明确。
l 第三，68种期刊试图通过10万名科学家邮件投票确认，但仅有2.8%的回复。如此低的回复率可能也反映了大多数科学家认为自然指数似乎并不重要(我们假定科学家知晓投票的原因)。此外这10万科学家样本究竟是什么尚不清楚，是随机抽样吗？
l 第四，自然指数根据期刊的声誉来测度机构和国家的绩效。这种测度遵循传统的期刊影响因子(JIF)方法。而许多人批评使用期刊影响因子评价科研的做法(参见旧金山关于科研评价的宣言http://am.ascb.org/dora/)，应寻求更好的指标来测度科研绩效。绩效测度应根据单篇论文本身的质量而不是根据期刊的质量。
对以上四点批评意见，来自自然出版集团的Nick Campbell和Michelle Grayson一一给予了答复。
他们认为自然指数在机构和国家层面提供高质量论文生产力的绝对统计，是一个关于全球高质量科研产出的指标，表示欢迎科学界对自然指数的评论，并表示自然出版集团将积极采纳来自科学界的建设性意见，并根据这些意见改进和提高自然指数这一评价指标。
他们在答复中指出，自然出版集团并没有打算让自然指数成为一种排名，也从未在任何地方提及这一功能，根据源自自然指数的数据比较国家或机构需考虑这一背景。自然指数也不用割裂其他相关信息的定量和定性来源而用作科研评价工具。数据仅限于总科研论文中的相对小的一部分，仅涵盖自然科学，并且结果没有规范化。
与此同时，自然出版集团相信，记录高质量科研产出的绝对数据趋势很有价值，如同检测一国的GDP一样有用。追踪机构、国家、甚至特定的合作或项目的相对贡献使得高质量科研产出的绝对测度十分有用，尤其是了解国家和机构的战略方向对全球科研事业发展十分重要。当然，归一化论文分析模式也很有用。自然出版集团鼓励用户结合自由获取的自然指数数据和其他来源的信息来做个性化的进一步分析。
关于马普所的两位科学家所质疑68种自然指数的样本规模和10万科学家在线调查确认所选期刊的过程，自然集团认为，通过活跃科学家专门小组来选择期刊最初的目的是为了选出少于100种期刊—足够涵盖所有学科，但充分选择以确保这些期刊真正反映同行判断的顶层科研成果。在学科考虑上，小组主席在选择小组成员时是从自然科学的主要学科中选出的。这一多样性考虑也应用于选择调查对象中。调查还充分考虑了不同地区的代表性，确保北美、欧洲和亚洲等地区的多样性大致相当。这一过程不是随机的。对于这么大规模的科学家调查来说，调查反馈率2.8%并不少见。通过排除最近两年内没有发表论文的回应者，最后得到总计2,848个调查反馈结果。
基于单个小组成员偏好和调查数据得出的最喜爱期刊结果非常高度地一致。当然，在两者所选的排在后面的期刊部分不可避免地有少量重叠。关于如何得出期刊的最终名单，是小组主席根据两种判断方法的结果一致性做出最终决定。当然，自然出版集团也承认“过程是注重实效的集体判断，下端的切断点完全是主观的。” 换句话说，小组的目的是得到一份自然科学首选期刊的名单，这份名单是务实合理的并不断演化的，是得到大多数科学家认同的高质量研究产出的指标。自然指数2014全球增刊提供了自然指数期刊选择过程的详细细节，未来计划扩大范围涵盖临床医学。
自然出版集团同意两位科学家有关科研评估应使用论文和期刊层面相对指标的说法。但同时也指出，自然指数专门小组在挑选期刊时并没有特地考虑期刊影响因子。选择过程仅反映科学家对期刊质量的定性感觉。实际上，这种选择期刊方法的一个好处是不受已有的学科特有变化引用模式的影响，例如，如果在选择时考虑引用数将会更倾向于遗传和材料科学而不是地球科学。将自然指数视为高质量科研的指标，是基于同行评议高选择性期刊的优秀编辑评定的论文。这些期刊被科学家认为是首选的，科学界认为这些期刊能很好地吸引、选择和发表相当比例的所涵盖领域的最优秀论文。
作者认为，论文引用是其学术影响力的一个好的代理，但同时也有局限。如大家公认有关方法的论文常较诺奖成果获得的引用要高。此外，引用数随时间累积，有许多论文在其发表后引用数很少，但最终显示出非常高的影响。论文层面的替代计量学日益重要，来自altmetric.com数据也包括在自然指数特色论文的每一部分。然而，同其他指标一样，这种替代计量学也有自身的不足。没有一个指标能单独提供科研绩效、影响力或影响的权威评估。
作者最后认为，自然指数同其他指标一道使用是对文献计量学工具包的一个有用补充。并再次重申欢迎科研人员和决策者共同参与，来不断提高这一评价指标的质量，使之满足各方需求。
参考文献：
1. Haunschild, R., & Bornmann, L. (2014). Discussion about the new Nature Index. Scientometrics,. doi:10.1007/s11192-014-1505-2.
2. Campbell, N., & Grayson, M. (2014a), Scientometrics，10.1007/s11192-014-1516-z
3. Campbell, N., & Grayson, M. (2014b). Index 2014 Global. Nature, 515(7526), S49.
4. Campbell, N., & Grayson, M. (2014c). Introducing the index. Nature, 515(7526), S52–S53.
2015新版影响因子探析
https://blog.sciencenet.cn/blog-1015-900465.html
上一篇：北京大学自然指数位列全球17位
下一篇：美国高校来自联邦政府的科学与工程经费连续三年下降
