这两天科技评价指标的问题成了一个热点，因为中国科学技术发展战略研究院发布了《国家创新指数报告2014》，陈安首先发难，武夷山老师应招，今早看到已经很少写博的贾大帅哥又来了一篇“中美科技评价指标的区别”，可谓重磅。其实这几天偶迷上了唱和声，把写博客都搁在一边了，不过看了这些博文最终也坐不住了，凑个热闹。

     指标这个东西究竟好还是不好？真不好说。有人说，指标就是领导拿来显摆政绩、鞭策手下的数字，领导喜欢，老百姓不喜欢。这话有道理，不过细想想，却好像也不对。我们平时看到某个计划或者领导讲话中说到要办的实事或好事时，如果只看到空洞的口号和目标，往往会嗤之以鼻。比如说杭州的治理雾霾，多少任领导都会说：要推行环保进程，还百姓一个蓝天白云。老百姓只看到空气并没有变好，那些计划和领导说的话只不过是个样子。但不久前，杭州出台了《杭州市2015年大气污染防治实施计划》，却得到老百姓的点赞，为什么？因为在这个计划中对大气治理分解了几个部分，每个部分都有具体数据作为治理的目标，还对任务确定了责任单位并设定了时间节点。大家看到这些实实在在的数据，知道将动真格的了，空气的改善不会只停留在口号和纸上。可见老百姓还是喜欢这种具体指标胜过假大空的口号滴。同样的情况在科研评价指标上其实也存在。记得每次讨论SCI文章、影响因子作为指标的不足时，总有老师会说，相对于领导今天这样明天那样随意定的标准来，用SCI作为指标还靠谱一点，至少所有人都有一个明确的标准。想想也是，许多学校出台量化指标的时候，大多数老师还是欢迎的，因为这多少给了一些人凭自己努力可以达到某个目标的希望。

     指标对领导们来说，大概也是又爱又恨的。因为用指标划一条线，让管理中的奖励和惩罚都有了依据，不过指标其实更多是给领导最具体的目标和任务，即便不是写到计划里的，也没有立下军令状之类的，但有了指标就有比较，那些用指标弄出来的排名谁说就不是对领导的一种压力呢？一些本来可以大马虎眼的东西，有了这些具体指标后，就清清楚楚一目了然，很难含糊了。好在领导是政策制定者，他可以把指标的要求定到对下级的考核指标中，只是当这些指标只以某种数字的形式出现时，那种不合理也就成为大家吐槽的对象了。比如SCI论文，只看论文数的时候，一篇好论文和一篇垃圾论文是等值的。正因为如此，陈安才有那篇“比”是万恶之源，是我国科学界无法实质创新的要害的檄文。

     其实搞数据搞指标，是图情专业的特长之一，当初那些基于论文数据进行的各种分析，而且结果显示这样的分析还比较靠谱的时候，图情人是感到很骄傲的。但我们做这些情报分析的时候其实很清楚，这种数据适合分析大的趋势，或用来评价一个国家和地区的科技能力等，而分析对象越小越具体，则准确度越低。但眼看许多指标被各级领导用来做微观分析和评价指标时，也有说不出的无奈。我们曾经在许多地方科普过，影响因子是用来评价期刊质量的而不是评价论文质量的，不同学科的影响因子差别是很大的，把不同学科的科研人员放在用一个标准下评价是非常不合理的。记得SCI的创始人加菲尔德到中国来也再三强调这些。虽然这些年在评价中逐渐注意到了学科差别，引入了期刊分区、影响因子等概念，但这些指标用来评价人或单位的时候，都有不尽准确的地方。

     还有一个特别明显的情况是，无论哪个数据一旦成为评价指标的时候，便不可避免开始走偏。这个情况其实也算是普遍现象，但在我们国家大概更甚一些，以至于本来某个指标用来测度某个方面状况的时候还有一定准确性，但这个指标在用了若干年之后，其准确性就大打则扣。比如影响因子，现在无论期刊或单位，都有引导作者引用本期刊本单位论文的倾向，导师们也引导研究生在论文中引自己的论文和互引，这些年我们国家引用方面的数据直线上升，不知道有多少是因为这样的导向下出现的？再举个例子，专利的数据一般是用来测度创新情况的一个指标，这些年基本上各省、各高校都会做专利分析报告，以此说明本地区本单位的科技创新能力，这个过程中便开始走过一个从只看专利申请数到同时考察专利申请数和授权数、从看专利总数到更看重发明专利数、从只看专利数到看专利的国际申请和授权情况。我印象中比较深的是，几年前图书馆曾经给学校做过相关的分析报告，浙大的专利申请量和授权量是国内高校最高的，但是如果比三方专利申请和授权数，国内高校好像是清华最高，而浙大与其差距是相当大的。学校这些年相关政策开始向国际专利引导，相信几年后这个数据是会突飞猛进的。

     记得曾经看到过文双春老师的一篇博文：学术越评越掉价，其中介绍了一个著名的古德哈特定律（Goodhart's law），主要就是说，某种评价一旦被选择用来作决策时，这种评价就开始失去其价值了。这个定律原来是用来说银行、金融、经济等方面的指标的，后来人们发现它几乎适用于各领域的政策制定。一项社会指标或经济指标，一旦成为一个用以指引宏观政策制定的既定目标，那么该指标就会丧失其原本具有的信息价值。也就是说，它会逐渐变得不再有效，因为政策制定者会牺牲其他方面来强化这个指标，使得这个指标不再具有指示整体情况的作用。

     所以说，即便是如我们这样图书情报领域的，也是对这些指标有着难以言说的感觉。说实话其实我看到一些本来能很好反映科研状况的指标越来越不准确的时候是很心痛的，那可是做情报分析的基础，所以有的时候甚至希望有些数据还是别被纳入指标体系中去吧。今年教代会，图书馆一老师有个提案，是说学校目前基于两个引文数据库出台的期刊分级目录有诸多缺陷，建议引入H指数等概念，最近该提案被立案了。其实我对这个建议是不以为然的，用期刊级别考核教师的科研本来就是不合理的，你把个分级弄得再合理再科学也改变不了这个事实，这个事情即便做好了能有多少教师学生从这个分级目录中得到更合理的评价了呢？当然我能理解我们馆那个老师从自己专业角度来提的这个提案，或许就是希望多多少少改变一点不合理的评价指标吧，就怕这个标准一出，新的不合理就又出现了。还有一个事情，前几天，一高校请了几个高校图书馆的老师给他们新搞的期刊分级目录提提意见，那个期刊分级也是用来评价科研的。其中他们学校科研处一老师还专门提出一个奖励方案，说是对SCI论文要根据影响因子给予不同的奖励，弄了个基数乘影响因子的方案，不同的学科给予不同的基数。结果这个方案给我们坚决地否定掉了。或许这是图情专业的人能做的及其有限的事情了，就是尽量给那些扭曲的评价指标纠点偏。