NIH考虑中的项目影响评估指标

武夷山

Laurel L Haak（她在ORCID工作，ORCID的字面意思是“开放性科研人员与投稿人员唯一标识符”）等学者在Science and Public Policy杂志2012年第4期发表文章，The Electronic ScientificPortfolio Assistant：Integrating scientific knowledge databasesto support program impact assessment（科学业务电子助理：整合科学知识数据库以支持项目影响评估）。

文章介绍说，美国国立卫生研究院推出了“科学业务电子助理”工具，它有助于搜集整理与项目影响评估相关的数据。我关心的不是这个工具本身，而是NIH采用哪些指标来进行项目影响评估。该文介绍了一些目前NIH正在研究但尚未实施的评估指标：

----申请新项目的成功率；

----不端行为，如论文被撤销、受到不端行为指控，等等；

----本实验室培养的研究生、博士后总人数；

----成果在本研究领域之外被引用的情况；

----研究生毕业、博士后出站5年后的就业地位与就业部门；

----被引速率，即成果发表到首次被引用的时间；

----论文被专利、临床试验报告等非论文文献所引用的次数；

----论文被临床指南、卫生保健技术评估文本所引用的次数。

博主：

1.                多年来，我多次呼吁，各类评价都应纳入一些负面指标。比如，高校的自杀人数就可以是一个负面指标，哪个高校的自杀人数多，在高校评估时就要给它扣分。可惜这一呼吁从未见有人响应。前不久，在维也纳的ISSI国际会议上，我在对一个发言的评论中再次提出这个观点，普赖斯奖得主、丹麦情报学家Peter Ingwersen当即回应说：“Very interesting!”在NIH考虑的指标中，“不端行为”就是一个负面指标。

2.                如果要实施这些指标，在数据搜集上还有很长的路要走。比如，现在多数单位都不了解自己的“研究生毕业、博士后出站5年后的就业地位与就业部门”是怎样的。但是，若我们在评估时只限于能采集到的数据，而不肯在搜集有用数据上下力气，就好比醉鬼丢了钥匙后只在路灯下找。

本文摘要如下：

Abstract

The US National Institutes of Health (NIH) supports basic and applied biomedical research by funding grants and contracts. To measure the outcomes and impact of their programs, NIH staff conduct programe valuations and undertake targeted investigations of research portfolios.Recently, the NIH launched the electronic scientific portfolio assistant(eSPA), a web-based analytics system based on linked scientific databases that provides quantitative information for program officers and planning and evaluation officials managing research portfolios. This system has improved the ability to create and collaboratively refine research portfolios, has reduced the time needed to collect and link outcomes data such as publications and patents, and is providing information used to support research management decisions. After describing the eSPA system, we provide examples of three eSPA evaluation projects that illustrate the impact of this system on NIH evaluation objectives.

Copyright , Oxford University Press.

Laurel L Haak作为第二作者的一份PPT（题为“创造数据基础设施以追踪知识流动”）的内容也非常好，见http://www.eurocris.org/Uploads/Web%20pages/CRIS%202012%20-%20Prague/CRIS2012_12_presentation.pdf。