林墨分享 http://blog.sciencenet.cn/u/ZJUlijiang 分享以科学家为对象的研究论文

博文

同行评议 VS. 引文指标,差异在哪?

已有 3812 次阅读 2016-8-23 09:11 |系统分类:科研笔记| 创新, 同行评议, 引文指标

说明:本博客与微信公众号《林墨》同步更新,所有内容均为原创,可授权转载。请扫码关注《林墨》公众号。

摘要

        引文分析和同行评议是目前科研评价的两种主流方法,两者之间的互补性应用已得到认可。如果能弄明白推荐和引用在评价文献影响力上的微观差异,对于完善科研评价体系将具有重要意义。

 

杜建 / 中国医学科学院 医学信息研究所 助理研究员

注:图片来源于中国社会科学报

 

        引文分析和同行评议是目前科研评价的两种主流方法,两者之间的互补性应用已得到认可。如果能弄明白推荐和引用在评价文献影响力上的微观差异,对于完善科研评价体系将具有重要意义。Faculty of 1000(F1000)是目前最常用的、受到广泛认可的生物学和医学领域单篇文献专家推荐系统。现有的研究显示,F1000专家推荐分值(FFa Scores)与论文被引次数之间的相关系数仅为0.2-0.3,明显的弱相关。那么,差异到底是怎么造成的?

        我们获得近3万篇医学研究论文的被引次数和专家推荐分值,将论文分为4组:双高型、双低型、高推荐-低被引型和低推荐-高被引型。对后两组进行对照,发现:

小创新的论文被引次数高、同行推荐少

        “新发现”、“确认”、“技术进步”、“临床试验”、“综述评论”和“系统综述/meta分析”类论文得到了相对高的被引但却很少被同行推荐,多为“证据累积型研究”;

大创新的论文同行推荐多、被引次数少

        “有趣假设”、“争议”、“反驳/颠覆”、“提供新药靶点”、“能改变临床实践”类论文受到专家的高度推荐但被引次数却相对较少,多为“变革性研究”和“转化型研究”。

        根据托马斯•库恩的科学范式概念,创新型研究可分为两类,一是常规科学中的创新性研究,即在现有研究范式下对已有研究的补充和发展,推动科学的累积式渐进,对应着“证据累积型研究”;二是导致科学革命的创新性研究,即通常是对原有研究范式的颠覆,属于具有革命性的科学突破,促成科学革命的发生,对应着变革性研究和转化型研究。

        我们建议在采用被引次数进行学术评价时,例如人才评选、重点实验室评估等,可区分3种类型的文献:①循证医学研究,②变革性研究或高风险研究,③转化型研究。一项研究所具有的可能颠覆现有范式的潜能,以及对临床实践的适用性,不能仅看被引次数,而是应通过(少数)同行的评判才能得以更好地体现。

 

参考文献

Du, J., Tang, X. and Wu, Y. (2015), The effects of research level andarticle type on the differences between citation metrics and F1000recommendations. Journal of theAssociation for Information Science and Technology. doi: 10.1002/asi.23548

 

文字编辑:李江 / 浙江大学

 

 



https://blog.sciencenet.cn/blog-1792012-998099.html

上一篇:如果能查出论文中的挂名作者
下一篇:为什么社会科学家不愿公开数据
收藏 IP: 114.246.142.*| 热度|

2 武夷山 杜建

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-24 15:31

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部