走进平常分享 http://blog.sciencenet.cn/u/cosismine 40岁,追求卓越,却走进平常

博文

科技指标的设计的合理性研究进展 精选

已有 4034 次阅读 2015-7-22 19:43 |系统分类:科研笔记

仅仅用一个数字,肯定不能说明什么。科学计量学有关科技指标的设计,有一个open up或者close down的问题。close down就是用一个数字来表示,比方H指数,比方影响因子,这种方法是比较简单。在这次所发表的leiden宣言里,称之为虚假的精确性。Open up就是用多维度的指标来描述科学发展的各个方面,有点像金拓老师说得深入科学和技术细节来评审和考核。近年来科学计量学力求从科学问题本身的特征入手来设计一些能够抓住其特征的描述性指标,本人觉得这种研究还是有一定的意义。比方用关键词的聚类来表明某个问题研究的各个方面,以及各个方面的发展演化过程。有人用此来勾画一个科学问题研究的portfolio,把一个科学问题涉及的方面都罗列出来,然后根据这些方面,确定解决这个问题需要的专业才能,再找有这种专业才能的人,来做这些事情,并据此来分配经费,从而构成一个能够解决问题的比较有效的合作机制。个人觉得科学计量学这种研究思路非常好。

而用一个数字来描述科学,因为科学发展的多样性,各种指标设计都有些不合理性。这个问题好像首先是从H指数的不合理性发现的。这种不合理性主要是指标违背我们的直觉,或者常理。比方两个人,按照某个指数,甲比乙好,而之后甲和乙合作发表几篇(或者两人各自发表了几篇同样质量的论文),一般来说,按照同样的指数,应该甲还是比乙好,但有时候却会引起乙比甲好的情况,比方甲的H指数是5, H核心区里的文章各引用5次,乙的H指数是4,H核心区的文章各引用了6次,两人合作发表了两篇文章,各引用了6次,乙的H指数变成了6,而甲还是5,导致乙比甲好这一评价结果,刚开始的时候,这个问题被称为是指标的一致性问题,后来被称为合理性问题。是由LudoWaltman和Nees Jan van Eck两个人提出的,他们认为这个问题可能是因为 H指数混合了论文和引文两个维度的数据,所以形成偏差,并提议高被引论文可能不会有问题,但Michael Schreiber又发现高被引论文也存在这个问题。想想这个世界的形态无穷无尽,发展过程也千变万化,怎么可能用一个指标切下去就切出一个合理的东西来呢?

我后来质疑这个一致性是否应该是科技指标设计的基本要求,为什么甲比乙好,甲就该永远比乙好。我举出一个例子说:比方甲和乙两个人,甲有1000篇文章被引用1000次,h指数是1000,乙刚刚入门,没有发表文章,H指数是0,在甲的带领下做研究,两人共同又发表1000篇,各被引用1000次,则甲和乙的h指数都变为1000,为什么不能说是乙在甲的带领下,赶了上来,和他老师取得了同样的影响,而非要让甲比乙好呢?为什么不能说科技指标的不一致性是科技取得进步的一种方式?如果所有的科技指标都有不一致性的问题,我们是否应该包容一些不一致性?科学发展毕竟不是如阅兵式地“一二一”地按照口令来的啊。那么,一个指标在多大程度上是不一致的,是否可以从数学性质上来计算。我用H指数为例,用排列组合的方法,算了一下H指数不一致性的概率

 

Liu, Y. (2013). To what extent is the h-index inconsistent? Is strict consistency a reasonable requirement for ascientometric indicator? Proceedings of ISSI 2013 Vienna, (Juan Gorraiz, EdgarSchiebel, Christian Gumpenberger, Marianne Hörlesberger, Henk Moed, eds.), AIT Austrian Institute of Technology,Vienna, p. 1696-1710.

所以,我认为科技指标的一致性,并不是科技指标设计的合理性要求,相反,科技指标在设计的时候,应该容忍一定程度的不一致性。鲁索老师很欣赏这个想法,后来鲁索把获得图灵奖的大概近似正确的理论引入科技评价领域中来,提出科技指标的大概近似正确的原则。

看,科学计量学指标只是一个大概近似正确的东西,真的没有必要把他当做教条来追捧。




https://blog.sciencenet.cn/blog-215715-907372.html

上一篇:科技研发指标的功与过
下一篇:谢谢科学网邀请我做嘉宾谈科学评价问题
收藏 IP: 222.66.175.*| 热度|

17 戴德昌 陈楷翰 武夷山 王洪吉 李天成 曾杰 刘立 曹聪 牛文鑫 杜建 张端鸿 许培扬 张鹏举 鲍博 陈冬生 xuqingzheng doctor5

该博文允许注册用户评论 请点击登录 评论 (11 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-19 21:51

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部