刘立老师在Nature: 恰当运用计量指标进行科研评价十原则［修改版］编译了几个同事在Nature上所发表的有关科研评价的十原则，对第二原则，刘立同学认为大致意思是：

原则2：对科研机构、科研团队和科研工作者的评估，应参照（而不是脱离）他们当初制定的愿景和目标来进行。

而原文是:

Measure performance against the research missions of the institution,group or researcher.

 Programme goals should be stated at the start, and the indicators used to evaluate performance should relate clearly to those goals. The choice of indicators, and the ways in which they are used, should take into account the wider socio-economic and cultural contexts. Scientists have diverse research missions. Research that advances the frontiers of academic knowledge differs from research that is focused on delivering solutions to societal problems.Review may be based on merits relevant to policy, industry or the public rather than on academic ideas of excellence. No single evaluation model applies to all contexts.

我初步翻译了一下，不大好，但忠实原文：

对科研机构、科研团队和科研工作者的评估，应参照其研究任务来进行。研究任务的目的在一开始就要明确下来，用于评估绩效的指标应该和这个目标相关。指标的选择和应用的方式应该考虑广泛的社会经济和文化背景，科学家研究的任务不尽相同，那些推动科学知识边界（前沿）的研究和那些旨在解决社会问题的研究很不相同。评估可以基于相关研究是如何推动政策规范，工业（进展）和公共（利益）方面来开展，而不仅仅局限于学术观点的卓越性（优劣？），单个指标或者模型不能应用在所有环境中。

 注意在原则二的小标题中，作者用了一个against, 而不是with, 或者to.

 刘立同学出国很多次，也翻译过一些书，应该能够理解原文的意思。我在想刘立同学是否是看过当初刚出炉但还没有广泛流传的初稿。

 Leiden宣言原来有七条，起源于一个业界大佬随笔写下的几行字。Diana Hicks然后在2014年Leiden会议由Ismael Rafols组织主持的特别会议 on the quality standards for evaluation indicators: Any chance for the dream tocome true?念出来。引起广泛关注。后经Van Raan协调，统一各方意见，并最终以宣言的方式发表在Nature。

当时在Leiden会议念出来的原稿第二条为：should match institute mission (horses for courses), 和刘立老师的编译的意思相同。也就是对科研评估的时候，指标设计要和单位的使命相符。但此原则后来更改。本人反对科技评价仅仅局限于单位的框架里，而应该深入到科研的过程中。并力促此原则的修正。

 本人也参加了在Leiden举办的国际科技指标大会。会前一个晚上，本人失眠。无所事事之际，给其中的一个作者，本人当时在英国的合作导师写了一封信，

DearXXX,

Wish you a successful session, and could publish a declaration on the evaluation of science...and direct our field rooting into the earth of science...grow together with science.

 And thank your effort for helping me come here...cherish a hope that someday my health can allow me to contribute something to our field...

 Best wishes,

Yuxian

当时因为我在英国期间的研究刚刚起步，还没有可以拿出来在国际会议上交流的东西，我的合作导师专门设置了一个针对拿到博士学位不足3年的科研人员的参会资格。我才去了Leiden.这封信祝福他能主持一个非常成功的会议，能在这次会议上发表一个宣言，带领我们这个领域的研究扎根于科学研究实际中，和科学一样有力。

只是没有想到，当时随手敲打的一些东西，竟然成真。

会议上我并没有很好地领会这个宣言的意思。几个月后，我的合作导师来SPRU在一个由英国高等教育资金分配委托举办的workshop发言，在他的PPT中首次看到这个宣言。当天晚上，准备写一篇博客，认真思考之下，才发现这个宣言不太到位，就给我的合作导师写了一封信，说我一点也不喜欢Hicks的建议。她的建议既不合理，也不有力，也不新鲜。尤其是第二条还充满欺骗性。

合作导师收到这封信，专门把我叫出办公室，说不准我再给他写信，说我充满侵略性。可以想见我一介女士在这之后的心情。我想如果我儿子要这个对待一个身在他乡，举目无亲的女人，我一定把他揍得爬不起来。

 是在同一个会议上，我认识了Paul Wouters教授。他当时发言的题目提到重建研究评估和知识生产过程之间的联系。我特别兴奋，后来专门给他写了一封信把他的发言稿要下来了。他的发言稿没有依然提到Metric systems should measure performance in accordance with the research mission of the institution, group or individual researcher。但他试图探讨其间的关系，这给我可乘之机，我于是给他写了一封长信，阐述我为什么反对科技评价仅仅局限于单位的框架里。我的大致意思是说单位是由各个不同利益集团组成的，是各种利益集团斗争的场地，使命也随着各个集团所掌握的权利而变化，我们如果按照单位使命来设计指标的话，只能证明我们的科学计量学指标具有很大的欺骗性。而一直以来我们科学计量学指标的优势就是能够提供一个比较客观的依据。而我们现在提出这么一个原则，失去了客观性，也就失去了我们的力量。我个人感觉是我们在捍卫自己的时候，失去了我们最有力的武器。

 我把这封信抄送给很多我认识的人，当然包括我的合作导师，他后来对我态度温和了很多，我回国的时候，专门从西班牙过来和我道别，我知道我这封信说服他了。

 Nature上发了这个宣言后，我第一时间读了这个十原则，看到第二原则，认真地研读了一下，我的意见他们已经基本采纳，感觉很是欣慰。

 金拓老师，陈安弟弟， 还有贾伟老师，请认真看一下我们科学计量学界的这个宣言，您还以为我们科学计量指标就是造指标而不管科学研究状态吗？做科研总有产出，不管是什么形态的产出，总有产出吧，我们试图通过科研产出这一科学研究的表现形式，来试图刻画科学研究的状态，也是一种科学吧。什么样的科学不研究现象就能揭示科学背后的规律呢？

 我和刘立同学是好朋友，合作也很紧密，没有反对他的意思，只是恰好可以用来澄清一些东西，并提供一些背景，就写了这篇文章。

本文依据刘立同学和李宁同学的意思对相关翻译进行了更正。

 

相关专题：科研评价指标功与过
转载本文请联系原作者获取授权，同时请注明本文来自刘玉仙科学网博客。
链接地址：https://blog.sciencenet.cn/blog-215715-905386.html

上一篇：英国研究报告号召给科学计量学研究增加资助份额
下一篇：求解：the domain of attraction of the Gaussian distribution