武夷山分享 http://blog.sciencenet.cn/u/Wuyishan 中国科学技术发展战略研究院研究员;南京大学信息管理系博导

博文

目前科研评价中常用的指标及面临挑战 精选

已有 8015 次阅读 2014-3-2 07:00 |个人分类:科学计量学研究|系统分类:观点评述

目前科研评价中常用的指标及面临挑战

武夷山

   普赖斯奖得主Henk Moed和Gali Halevi博士在Research Trends网刊2014年3月号发表文章,Research assessment: Review of methodologies and approaches(科研评价:方法和进路之综述),文中用一个表概括了目前科研评价常用的评价指标及其面临的挑战,现将该表格的内容大致翻译如下,供同行参考。

 指标类型

 描述

主要用途

 面临挑战

 论文-引文

评价对象所发表的论文数及其论文被引数。

测度科学活动与学术活动的影响力

作者名称与机构名称的不同写法导致很难准确计数。所选数据库的覆盖程度不够导致评价误差。技术报告或灰色文献一般不被数据库收录,导致对某些学科的评价不准确。不同学科的差异,不同机构阅读习惯的差异(博主举例:有的爱读期刊论文,有的爱读会议论文)都会影响评价结果。  

使用量

试图将学术论著下载情况和阅读情况加以定量反映的方法。

将论著被阅读、下载、分享的情况作为影响力的一种测度。使得某些使用量很大但并未高被引的文章的作者也能获得认可。

能提供此类数据的数据商,哪一家的数据都不完整。同样,不同学科的差异及不同机构阅读习惯的差异会影响评价结果。一些软件工具可以帮助人们自动下载大量文献,但下载后未必阅读。          

社媒影响计量指标

试图获取论文被博客、微博或其他社媒平台(如共享参考文献管理工具)所提及的次数。

被社媒所提及也有点类似于被引用或被使用,从而也从某个侧面反映了科研的影响力。    

能够提供社媒跟踪数据的机构很少。各家对于不同社媒形态给予的权重不一,结果出现了五花八门的“影响力”得分。  

 专利

测度不同机构、不同个人各自获得了多少专利。测度专利文献引用了多少基础研究论文,识别出哪些专利是高被引专利。

试图在基础科学和专利技术之间建立直接联系,以说明科研活动做出了经济贡献、社会贡献或方法论上的贡献。

由于专利文献著录不完整、不标准,将专利数、专利引文数准确归属到不同个人和不同机构头上是很困难的。向其他国家申请并获得专利时,如何评价申请者的影响力?也较为困难。专利文献自身的参考文献清单不够详尽,也影响分析结果的可靠性。  

经济影响类指标

测度科学活动及其对产业、创新和经济的影响二者之间的联系强度

提供技术转移指标。表明科研项目成果的“可专利性”潜力。提供本益分析测度值。

采用的统计模型都很复杂,要求科研人员对投资和研发计划都要有深刻理解。对于长程研发计划,本益分析很难实施。该领域的研究人员不仅要懂数学和统计学,还得理解被研究的学科领域。  

网络影响类指标

对机构和个人的国内合作与国际合作的状况进行测度。一般说,建立并保持着活跃的科研网络的机构和个人,不仅发表论文较多,而且他们的学术显示度较高,学术地位较稳固。

通过测度,能对高度互联且在全球活跃的机构与个人进行跟踪。评价者由此可对相互合作的机构与个人进行横向比较。

人们投稿时的机构名称写法不是标准化的,使得开展机构数据跟踪很困难。某些学者在国外学习培训期间也许并未发表合著论文,但这些人可能是未来国际合作的重要纽带,这方面的信息可能被忽略。  

 

(2015年5月11日补记:此博文被刘春丽的论文“altermetrics:从理论假说、术语提出到内涵的重新界定”所正式引用,见《图书情报工作》2015年第6期,82-89页)




https://blog.sciencenet.cn/blog-1557-772249.html

上一篇:国家科技报告服务系统今天正式开通,欢迎使用!
下一篇:《现代中国学术论衡》摘抄(五)
收藏 IP: 168.160.158.*| 热度|

41 尤明庆 钟炳 陈小润 许培扬 刘立 陈湘明 李伟钢 杨正瓴 姜春林 王涛 李万峰 翟远征 赵星 曹聪 庄世宇 闵应骅 任国玉 周春雷 何学锋 赵美娣 曹建军 李学宽 李本先 贡金涛 李冰 邹谋炎 陈小斌 印大中 董洁林 鲍海飞 杜杏叶 李归华 魏瑞斌 陈想南 张良辉 秦斌杰 李峰 wgq3867 cly85 lilojoan bobgogogo

该博文允许注册用户评论 请点击登录 评论 (30 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-27 22:51

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部