||
评价与排名:先定性后定量(先录入部分,一会在修改)
由于“量变质变规律”等的作用,科技评价的定量指标使用,要有一定的限度。
似乎先由专家主观评价定性,后由科技计量定量更合适。但由于“量、质互变”,具体操作仍然很困难,即较大的不确定性。
英国经济学家Charles Goodhart在1975年发明了一个以他名字命名的Goodhart定律:某种评价一旦被选择用来作决策时,这种评价就开始失去其价值了。(Once a measure is chosen for making policy decisions, it begins to lose value as a measure)。
一种“定量指标”的筛选和使用不断演化的评价,可能更合适。类似循证医学(英语:Evidence-based medicine,缩写为EBM。“遵循证据的医学”,又称实证医学)。先用定量指标计算典型例子,【由专家进行“主观评价”的结果】再调整指标的项目和权重,之后在实际中进行使用。
不过,排名是个千年难题:
在百晓生所著《兵器谱》里:
第1名孙天机死于第2名上官金虹之手,
第2名上官金虹死于第3名李寻欢之手。
在《隋唐十八好汉》里:
三杰反打二杰:裴元庆几次打败宇文成都。
一次不公的司法判决比多次不法的行为为祸尤烈。不法行为弄脏的不过是水流,而不公的判决则将水源污染了。——《论司法》(9月8日名言)
另一版本:一次不公正的审判,比十次犯罪所造成的危害还要尤烈,因为犯罪不过弄脏了水流,而不公正的审判则败坏了水的源头。
One foul sentence does more hurt than many foul examples. For these do but corrupt the stream; the other corrupt the fountain.
相关链接:
[1] 史晓雷,2016-05-10,科学家排行榜——Who's bigger 精选
http://blog.sciencenet.cn/blog-451927-976258.html
[2] 2015-07-12,关于评价与指标
http://blog.sciencenet.cn/blog-107667-904811.html
[3] 2015-01-05,排名:热闹非凡!
http://blog.sciencenet.cn/blog-107667-856777.html
[4] 2013-05-17,“停止使用影响因子评价科学家”总体正确
http://blog.sciencenet.cn/blog-107667-690855.html
[5] 文双春,2013-05-02,能出院士不一定能出大师——学术越评越掉价 精选
http://blog.sciencenet.cn/blog-412323-685914.html
学术乃至所有智力贡献的准确评价相当于物理学中的精确测量,是个高技术活,多数情况下即使技术再高明也无法对某个物理量精确测量。关于这一点,英国经济学家Charles Goodhart在1975年发明了一个以他名字命名的Goodhart定律:某种评价一旦被选择用来作决策时,这种评价就开始失去其价值了。(Once a measure is chosen for making policy decisions, it begins to lose value as a measure)。Goodhart定律曾被应用于银行和其他领域的政策制定,实践表明,评价不仅破坏评价过程,也扭曲对评价目标的认识。从这一点来看,Goodhart定律类似于量子力学中的测不准原理。学术就像量子,所以也“测不准”;学术评价就像量子测量,任何测试量子的操作,都会改变量子状态,同样,任何学术评价都会使学术和学术评价本身变味,而且不是变好,而是越评越掉价。
[6] 武夷山,2016-04-07,短期引用与长期引用 精选
http://blog.sciencenet.cn/blog-1557-968350.html
短期引用说明了被引论文作者处于研究前沿,反映的是选题的时尚性;长期引用则能够说明,被引文献对于将知识主张转化为概念符号的编码化过程作出了贡献。研究前沿的知识主张很可能只是风光一时,因此将短期引用作为质量指标是不合适的。
[7] 赵美娣,2016-05-10,短命的A类期刊目录 精选
http://blog.sciencenet.cn/blog-69474-976293.html
据介绍,学位中心2013年资助“中国学位与研究生教育学会”设立了“学科评估指标体系研究”重点课题,开展专项研究,又先后在16个省市地区召开了18场学科评估指标体系调研会,还集中开展专项调研。可叹的是,如此严密慎重出台的评估指标体系,折腾出来的A刊目录却是如此不堪一击,才刚出台便告夭折,实在是短命。
感谢您的指教!
感谢您指正以上任何错误!
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-12-21 17:05
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社