||
目前科研评价中常用的指标及面临挑战
武夷山
普赖斯奖得主Henk Moed和Gali Halevi博士在Research Trends网刊2014年3月号发表文章,Research assessment: Review of methodologies and approaches(科研评价:方法和进路之综述),文中用一个表概括了目前科研评价常用的评价指标及其面临的挑战,现将该表格的内容大致翻译如下,供同行参考。
指标类型 | 描述 | 主要用途 | 面临挑战 |
论文-引文 | 评价对象所发表的论文数及其论文被引数。 | 测度科学活动与学术活动的影响力 | 作者名称与机构名称的不同写法导致很难准确计数。所选数据库的覆盖程度不够导致评价误差。技术报告或灰色文献一般不被数据库收录,导致对某些学科的评价不准确。不同学科的差异,不同机构阅读习惯的差异(博主举例:有的爱读期刊论文,有的爱读会议论文)都会影响评价结果。 |
使用量 | 试图将学术论著下载情况和阅读情况加以定量反映的方法。 | 将论著被阅读、下载、分享的情况作为影响力的一种测度。使得某些使用量很大但并未高被引的文章的作者也能获得认可。 | 能提供此类数据的数据商,哪一家的数据都不完整。同样,不同学科的差异及不同机构阅读习惯的差异会影响评价结果。一些软件工具可以帮助人们自动下载大量文献,但下载后未必阅读。 |
社媒影响计量指标 | 试图获取论文被博客、微博或其他社媒平台(如共享参考文献管理工具)所提及的次数。 | 被社媒所提及也有点类似于被引用或被使用,从而也从某个侧面反映了科研的影响力。 | 能够提供社媒跟踪数据的机构很少。各家对于不同社媒形态给予的权重不一,结果出现了五花八门的“影响力”得分。 |
专利 | 测度不同机构、不同个人各自获得了多少专利。测度专利文献引用了多少基础研究论文,识别出哪些专利是高被引专利。 | 试图在基础科学和专利技术之间建立直接联系,以说明科研活动做出了经济贡献、社会贡献或方法论上的贡献。 | 由于专利文献著录不完整、不标准,将专利数、专利引文数准确归属到不同个人和不同机构头上是很困难的。向其他国家申请并获得专利时,如何评价申请者的影响力?也较为困难。专利文献自身的参考文献清单不够详尽,也影响分析结果的可靠性。 |
经济影响类指标 | 测度科学活动及其对产业、创新和经济的影响二者之间的联系强度 | 提供技术转移指标。表明科研项目成果的“可专利性”潜力。提供本益分析测度值。 | 采用的统计模型都很复杂,要求科研人员对投资和研发计划都要有深刻理解。对于长程研发计划,本益分析很难实施。该领域的研究人员不仅要懂数学和统计学,还得理解被研究的学科领域。 |
网络影响类指标 | 对机构和个人的国内合作与国际合作的状况进行测度。一般说,建立并保持着活跃的科研网络的机构和个人,不仅发表论文较多,而且他们的学术显示度较高,学术地位较稳固。 | 通过测度,能对高度互联且在全球活跃的机构与个人进行跟踪。评价者由此可对相互合作的机构与个人进行横向比较。 | 人们投稿时的机构名称写法不是标准化的,使得开展机构数据跟踪很困难。某些学者在国外学习培训期间也许并未发表合著论文,但这些人可能是未来国际合作的重要纽带,这方面的信息可能被忽略。 |
(2015年5月11日补记:此博文被刘春丽的论文“altermetrics:从理论假说、术语提出到内涵的重新界定”所正式引用,见《图书情报工作》2015年第6期,82-89页)
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-20 04:25
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社