走进平常分享 http://blog.sciencenet.cn/u/cosismine 40岁,追求卓越,却走进平常

博文

有关科学评价的十原则的第二原则 精选

已有 7406 次阅读 2015-7-14 16:43 |系统分类:科研笔记

刘立老师在Nature: 恰当运用计量指标进行科研评价十原则[修改版]编译了几个同事在Nature上所发表的有关科研评价的十原则,对第二原则,刘立同学认为大致意思是:

原则2:对科研机构、科研团队和科研工作者的评估,应参照(而不是脱离)他们当初制定的愿景和目标来进行。

而原文是:

Measure performance against the research missions of the institution,group or researcher.

 Programme goals should be stated at the start, and the indicators used to evaluate performance should relate clearly to those goals. The choice of indicators, and the ways in which they are used, should take into account the wider socio-economic and cultural contexts. Scientists have diverse research missions. Research that advances the frontiers of academic knowledge differs from research that is focused on delivering solutions to societal problems.Review may be based on merits relevant to policy, industry or the public rather than on academic ideas of excellence. No single evaluation model applies to all contexts.

我初步翻译了一下,不大好,但忠实原文:

对科研机构、科研团队和科研工作者的评估,应参照其研究任务来进行。研究任务的目的在一开始就要明确下来,用于评估绩效的指标应该和这个目标相关。指标的选择和应用的方式应该考虑广泛的社会经济和文化背景,科学家研究的任务不尽相同,那些推动科学知识边界(前沿)的研究和那些旨在解决社会问题的研究很不相同。评估可以基于相关研究是如何推动政策规范,工业(进展)和公共(利益)方面来开展,而不仅仅局限于学术观点的卓越性(优劣?),单个指标或者模型不能应用在所有环境中。

 注意在原则二的小标题中,作者用了一个against, 而不是with, 或者to.

 刘立同学出国很多次,也翻译过一些书,应该能够理解原文的意思。我在想刘立同学是否是看过当初刚出炉但还没有广泛流传的初稿。

 Leiden宣言原来有七条,起源于一个业界大佬随笔写下的几行字。Diana Hicks然后在2014年Leiden会议由Ismael Rafols组织主持的特别会议 on the quality standards for evaluation indicators: Any chance for the dream tocome true?念出来。引起广泛关注。后经Van Raan协调,统一各方意见,并最终以宣言的方式发表在Nature。

当时在Leiden会议念出来的原稿第二条为:should match institute mission (horses for courses), 和刘立老师的编译的意思相同。也就是对科研评估的时候,指标设计要和单位的使命相符。但此原则后来更改。本人反对科技评价仅仅局限于单位的框架里,而应该深入到科研的过程中。并力促此原则的修正。

 本人也参加了在Leiden举办的国际科技指标大会。会前一个晚上,本人失眠。无所事事之际,给其中的一个作者,本人当时在英国的合作导师写了一封信,

DearXXX,

Wish you a successful session, and could publish a declaration on the evaluation of science...and direct our field rooting into the earth of science...grow together with science.

 And thank your effort for helping me come here...cherish a hope that someday my health can allow me to contribute something to our field...

 Best wishes,

Yuxian

当时因为我在英国期间的研究刚刚起步,还没有可以拿出来在国际会议上交流的东西,我的合作导师专门设置了一个针对拿到博士学位不足3年的科研人员的参会资格。我才去了Leiden.这封信祝福他能主持一个非常成功的会议,能在这次会议上发表一个宣言,带领我们这个领域的研究扎根于科学研究实际中,和科学一样有力。

只是没有想到,当时随手敲打的一些东西,竟然成真。

会议上我并没有很好地领会这个宣言的意思。几个月后,我的合作导师来SPRU在一个由英国高等教育资金分配委托举办的workshop发言,在他的PPT中首次看到这个宣言。当天晚上,准备写一篇博客,认真思考之下,才发现这个宣言不太到位,就给我的合作导师写了一封信,说我一点也不喜欢Hicks的建议。她的建议既不合理,也不有力,也不新鲜。尤其是第二条还充满欺骗性。

合作导师收到这封信,专门把我叫出办公室,说不准我再给他写信,说我充满侵略性。可以想见我一介女士在这之后的心情。我想如果我儿子要这个对待一个身在他乡,举目无亲的女人,我一定把他揍得爬不起来。

 是在同一个会议上,我认识了Paul Wouters教授。他当时发言的题目提到重建研究评估和知识生产过程之间的联系。我特别兴奋,后来专门给他写了一封信把他的发言稿要下来了。他的发言稿没有依然提到Metric systems should measure performance in accordance with the research mission of the institution, group or individual researcher。但他试图探讨其间的关系,这给我可乘之机,我于是给他写了一封长信,阐述我为什么反对科技评价仅仅局限于单位的框架里。我的大致意思是说单位是由各个不同利益集团组成的,是各种利益集团斗争的场地,使命也随着各个集团所掌握的权利而变化,我们如果按照单位使命来设计指标的话,只能证明我们的科学计量学指标具有很大的欺骗性。而一直以来我们科学计量学指标的优势就是能够提供一个比较客观的依据。而我们现在提出这么一个原则,失去了客观性,也就失去了我们的力量。我个人感觉是我们在捍卫自己的时候,失去了我们最有力的武器。

 我把这封信抄送给很多我认识的人,当然包括我的合作导师,他后来对我态度温和了很多,我回国的时候,专门从西班牙过来和我道别,我知道我这封信说服他了。

 Nature上发了这个宣言后,我第一时间读了这个十原则,看到第二原则,认真地研读了一下,我的意见他们已经基本采纳,感觉很是欣慰。

 金拓老师,陈安弟弟, 还有贾伟老师,请认真看一下我们科学计量学界的这个宣言,您还以为我们科学计量指标就是造指标而不管科学研究状态吗?做科研总有产出,不管是什么形态的产出,总有产出吧,我们试图通过科研产出这一科学研究的表现形式,来试图刻画科学研究的状态,也是一种科学吧。什么样的科学不研究现象就能揭示科学背后的规律呢?

 我和刘立同学是好朋友,合作也很紧密,没有反对他的意思,只是恰好可以用来澄清一些东西,并提供一些背景,就写了这篇文章。

本文依据刘立同学和李宁同学的意思对相关翻译进行了更正。

 




科研评价指标功与过
https://blog.sciencenet.cn/blog-215715-905386.html

上一篇:英国研究报告号召给科学计量学研究增加资助份额
下一篇:求解:the domain of attraction of the Gaussian distribution
收藏 IP: 222.66.175.*| 热度|

25 洪海云 张鹏举 李佳苗 刘立 杨正瓴 王善勇 张忆文 王贤文 徐晓 李天成 陈楷翰 黄永义 杜建 李伟钢 赵凤光 杨思洛 曹聪 许培扬 王伟 韦玉程 汤俊 李竞 祝国光 biofans ffwb07

该博文允许注册用户评论 请点击登录 评论 (40 个评论)

IP: 61.186.190.*   回复 | 赞 +1 [29]wolfox   2015-7-21 13:17
这个原则完全是误导和偏见。科学评价是多方面的,重要是的揭示科研机构及人员所处的状态以及与参照体系的对比。只“参照(而不是脱离)他们当初制定的愿景和目标来进行”太片面了。至少“与过去比,与目标比,与同行比”这三个维度是不可少的。与目标比的关键是目标如何是合理的,目标不合理评价大打折扣。
管他是谁写的十原则,眼界放开点比斟酌用词和翻译重要得多。老外用词指不定随当时心情和习惯。
IP: 222.66.175.*   回复 | 赞 +1 [28]刘玉仙   2015-7-17 12:12
https://www.edx.org/course/big-data-social-physics-mitx-mas-s69x#.U13zlq2Sw06
IP: 88.128.80.*   回复 | 赞 +1 [27]金耀初   2015-7-16 07:14
谢不罪之气度。
IP: 114.251.216.*   回复 | 赞 +1 [26]zuobuli   2015-7-15 16:29
最后一句指得是rather than那句(倒数第二句)
IP: 114.251.216.*   回复 | 赞 +1 [25]zuobuli   2015-7-15 16:24
如果“引进先进的评估体系或原则”在理解上出问题并制定出中文版“先进评估体系”会是什么后患呢?
IP: 114.251.216.*   回复 | 赞 +1 [24]zuobuli   2015-7-15 16:19
有多精妙
IP: 114.251.216.*   回复 | 赞 +1 [23]zuobuli   2015-7-15 16:18
标题和最后一句的意思是等同的。against 就是‘不去考虑”

土译(简化):评估执行应考量实际研究效果而不是学术思想(来自学校、研究所)有精妙。
IP: 98.247.185.*   回复 | 赞 +1 [22]李宁   2015-7-15 14:33
你要把原话引用全了,有上下文,才好做具体分析。一般意义上,in accordance with 和 against 用法的区别,应该如我所言。
回复  原文在我的博客里有。
2015-7-15 14:451 楼(回复楼主) 赞 +1 | 回复
IP: 85.76.75.*   回复 | 赞 +1 [21]李竞   2015-7-15 14:13
1)against 同意刘立老师的解读
2)儿子问妈妈:您老打得过我吗?我上研究生时期,见到一位教授妈妈的儿子把这位教授妈妈的手指头打断了的。打不是好办法,想想别的辙吧
3)合作导师收到这封信,专门把我叫出办公室,说不准我再给他写信,说我充满侵略性。从你写在这里的博文来看,个人觉得你合作导师的做法是合理的
4)我把这封信抄送给很多我认识的人,当然包括我的合作导师,他后来对我态度温和了很多,我回国的时候,专门从西班牙过来和我道别,我知道我这封信说服他了。--未必一定是专门来道别,感性成份多了些
回复  李竞老师要允许一个半老徐娘自作多情一下。哈哈。
当然其中有很多故事我没有说,他的做法合理不合理也是有背景的。。。
我准备在我的博客上开个专栏:亲娘教子。引导儿子度过他人生的关键时刻。我这样说,只是想把我的感觉写得生动一些。
2015-7-17 08:031 楼(回复楼主) 赞 +1 | 回复
IP: 98.247.185.*   回复 | 赞 +1 [20]李宁   2015-7-15 13:02
回答博主的问题:measure performance against....和measure performance in accordance with... 是不是一样?
我的理解是不一样。in accordance with 后面多跟的是方法,法律,规则,理论,政策等。against后面的对象是参照物,用以比较。我觉得不应该写成 measure performance in accordance with research missions。

另外,mission在原文里不应该被理解成“任务”,在这里其含义是“使命”。根据使命,才会有目标(goals),所以原文讲,要先有goals。

供参考。

另外,我觉得你最好不去直接修改博文,而是用加注的形式来修改。你把原文里自己的翻译改了,弄得我前面的留言成了没事找事了。
回复  但刚刚开始的时候, 莱顿宣言我所看到的第一版是should match institute mission
第二版是:measure......in accordance with
第三版是: measure...against.
总还是有些差别的。
2015-7-15 14:241 楼(回复楼主) 赞 +1 | 回复
IP: 59.172.176.*   回复 | 赞 +1 [19]汤俊   2015-7-15 11:28
科研评价已国际化了,我们的学校成天都在喊国际化办学、创建国际一流大学,然而,对老师的评价为什么还是如此低劣!
IP: 59.172.176.*   回复 | 赞 +1 [18]汤俊   2015-7-15 11:26
我们这里签订合同时仍然以发表SCI论文,并且规定了分区和篇数,以及申请多少多少经费等非常具体的方式进行考核。真让人怀疑我们是不是搞科研的,是不是吃学术这碗饭的,感觉更像车间流水线工人,只有不停地车出各种合格的零件,才能维持生计!
回复  其实国际计量学界现在正在力图揭示科学本身的状态,而不是发表了多少篇文章。只是没有发表的文章或者其他中间产品,科学家所做的工作真的是没有办法被人知晓。
2015-7-15 12:171 楼(回复楼主) 赞 +1 | 回复
IP: 27.16.171.*   回复 | 赞 +1 [17]徐义贤   2015-7-15 09:11
单位的使命是更重要的框架约束,比如美国国家各个实验室的使命就不完全相同,中国科学院各个研究所的使命也不相同,招聘时一个萝卜一个坑,按照合同规定的任务开展工作. 如果不考虑这一点,显然冒犯了单位的利益. 至于大学,绝大多数采取学术自由政策,除了对其教学任务有明确规定外,对科学研究范畴多数没有约定.但据我所知,很多高校开始学习美国的做法,签订合同时约定科学研究方向,避免学校内部资源性短缺和不良内部竞争. 这时,科研评价指标只有小同行之间的比较才有意义. 另外,企业界目前有一股反感发布各类评价指标的潮流,我所知道的本领域最好的国际性学会,仍然坚持其原来的办刊标准,即保持期刊在企业界的影响力(IIF),而排斥单纯科学上的影响力(IF),因为企业界认为,一项技术性成果如果为真,别人应用就是了,可能不会产生论文引用.对于科学问题的讨论则不同,一个学术群体对一个科学问题的认知可能几代人还无法完成. 而对一个期刊或者研究者个人的所有科学评价指标,目前都无法评价其对工业生产和社会的影响力,特别是技术集成/数据处理和生产流程/制造工艺等等,但这些对促进社会经济发展的推动作用巨大. 一句俗语讲得好"行家一出手,便知有没有",因此,同行评价最靠谱,其它指标仅作参考.
IP: 95.144.59.*   回复 | 赞 +1 [16]金耀初   2015-7-15 07:44
汗。。。“aggresive" --> "aggressive"
回复  是啊,中国人了,用字母表达思想总会有错。我的英语的确不好。
2015-7-15 08:121 楼(回复楼主) 赞 +1 | 回复
回复  一直在努力学英语,到英国以后,才发觉我学了30多年的英语,英语水平还不及他们刚刚牙牙学语的小孩。
2015-7-15 08:142 楼(回复楼主) 赞 +1 | 回复
IP: 95.144.59.*   回复 | 赞 +1 [15]金耀初   2015-7-15 07:40
自己的英语有问题,可说话还非要很aggresive, 那个老外一定很惨。和前一阵子在科学网上晒的某个故事如出一辙。。。
很抱歉,无意冒犯博主。可还是忍不住说了,
IP: 58.17.121.*   回复 | 赞 +1 [14]pigbutcher   2015-7-15 05:29
博主如果在英国鬼子窝里呆了10年,会认为刘立同志的翻译是对的。
IP: 146.9.242.*   回复 | 赞 +1 [13]陆绮   2015-7-15 02:10
我支持“against”翻译为“参照”
即以预期目标为参照系来评判绩效
IP: 98.247.185.*   回复 | 赞 +1 [12]李宁   2015-7-15 01:06
玉仙,我建议你再好好斟酌一下。
我认为,刘立的翻译没有什么问题。measure sth against sth 是个常用语,含有对照、参照的意思。所以,刘立的理解比你翻译为'。。。的关系'更准确。 这个第二条的英文意思,也还是表达了应该根据mission实行评估的意思,只是这里强调了不同评估对象的mission的多样性,反对拿同一把尺子去衡量不同对象。
我觉得,你那封长信的反对意见,并没有被采纳,或者那封信跟这个第二条并没有直接关系。我个人觉得这个第二条很好,评估一个单位或者一个研究团队,脱离其mission,是没有意义的。比如,对开发机构,拿论文数量作为主要考评依据,就是不合适的。
回复  我也认为他的翻译没有什问题。
2015-7-15 07:141 楼(回复楼主) 赞 +1 | 回复
回复  刘立给我打了一个电话,我们商量了一下。觉得第二条就是要考虑科学研究的具体内容,而不是用数字来说话。我当时给他们写的信也是说这个意思,说I was very exciting when I listened to your talk about the re-establishing the connection between the research evaluation process and the primary process of knowledge creation.  我对mission的理解可能和英语语境中的mission是有差别的。
2015-7-15 09:262 楼(回复楼主) 赞 +1 | 回复
回复  李宁,问一个问题,measure performance against....和measure performance in accordance with... 是不是一样?
2015-7-15 09:463 楼(回复楼主) 赞 +1 | 回复
IP: 204.128.238.*   回复 | 赞 +1 [11]杨思洛   2015-7-15 01:01
受教了。
科学评价是主观评价目标和客观学术水平的统一。
IP: 43.224.215.*   回复 | 赞 +1 [10]doctor5   2015-7-14 23:06
还是因为不同的语言交流上的不对等性引起误解
IP: 171.80.80.*   回复 | 赞 +1 [9]黄永义   2015-7-14 22:48
正确,全面看有必要。
IP: 106.120.151.*   回复 | 赞 +1 [8]李天成   2015-7-14 21:59
此案例也可解读为:中国人的较真也让西方人汗颜~~哈哈
IP: 166.111.105.*   回复 | 赞 +1 [7]刘立   2015-7-14 21:01
horses for courses
鱼有鱼路,虾有虾道
IP: 166.111.105.*   回复 | 赞 +1 [6]刘立   2015-7-14 20:02
nice to talk with u.
回复  Many thanks for your inspiration
2015-7-14 20:041 楼(回复楼主) 赞 +1 | 回复
IP: 166.111.105.*   回复 | 赞 +1 [5]刘立   2015-7-14 19:33
LL在读到和理解这第2条“Measure performance against the research missions of the institution,group or researcher.”时,想到的是方新(“中国科技体制的形成、演进与改革”文)中提到的一个观点:
[科技体制改革的]成就于目标密切相关,因为目标提供了衡量或评价成就的标准。例如,如果一个国家科技发展的目标是要成为科技大国,则出版物数量及诺贝尔奖获得者人数就成为评价其成就的重要指标;但如果把促进经济发展作为科技进步的目标,则技术贸易额、技术密集产品出口额及其在总出口额中的份额就成为评价其成就的重要指标。

————————————————————
武夷山老师他们那个《国家创新指数报告》,其评估也参考了当初即十二五制定的目标指标,比如一报道说:中国“十二五”科技主要指标提前完成半数。见:http://blog.sciencenet.cn/blog-1557-903923.html
回复  Good, the indicators measure different aspects.
2015-7-14 20:021 楼(回复楼主) 赞 +1 | 回复
IP: 166.111.105.*   回复 | 赞 +1 [4]刘立   2015-7-14 19:16
yuxian,这第2条核心命题是:Measure performance against the research missions of the institution,group or researcher.
你将它翻译为“绩效测度和机构,团体或者个人的使命之间的关系。”,
LL翻译(意译)为:对科研机构、科研团队和科研工作者的评估,应参照(against,或者应考虑到,而不是脱离)他们当初制定的愿景和目标来进行。
LL的意思是:举一个假想的例子来说,某科研团队2010年制定愿景:到“十二五”末揭示A蛋白质的晶体结构。他们后来把研究结果发表在国内《生物化学》杂志上,而没有发到NATURE,SCIENCE,CELL上。那么,对该科研团队的评估,就应该参考他们当初的制定的目标,他们达到了这个目标,就是好样的,优秀的。但如果用发表的期刊档次来评估,那就差的太远了。
IP: 123.150.182.*   回复 | 赞 +1 [3]刘立   2015-7-14 18:23
好!
IP: 118.112.60.*   回复 | 赞 +1 [2]李佳苗   2015-7-14 18:16
关注
IP: 118.112.60.*   回复 | 赞 +1 [1]洪海云   2015-7-14 17:50
学习了

1/1 | 总计:29 | 首页 | 上一页 | 下一页 | 末页 | 跳转

扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-1-7 07:08

Powered by ScienceNet.cn

Copyright © 2007-2025 中国科学报社

返回顶部