让数据和证据作为决策的依据，是科学家的一贯习惯和最爱，因为科学研究的工作方法就是这样，只相信数据和证据。但数据和证据真的能代表一切吗？

如果科学家都不能充分利用大数据，那么指望谁能利用？只需要考察一下使用量化指标的典型代表，如期刊影响因子、H指数和grant-incometargets，就明白这种量化指标的局限性。

学术传统中最珍贵的元素是多元化或个性化，但是个人量化指标不可能在保证公平的基础上体现多元化。

设计不良的评估标准常对科学家职业产生干扰。第104任坎特伯雷大主教剑桥大学莫德林学院院长Rowan Williams曾经把这种现象比喻为，当前大学中的“新野蛮”。一起都向量化指标看齐，指标已经变成权利，决定了科学家的价值、身份和生存。

2014年4月英国著名科学计量学家James Wilsdon.是英国政府独立学术计量审查的委员会的主席，最近该委员会发表了审查结果(go.nature.com/smbaix) 。这一审查结果将成为英国政府基金进行下一轮资助的重要依据，涉及年度经费规模达到16亿英镑。最让人担心的是，这一量化指标趋势可能会笼罩整个高等教育和学术研究。

可以肯定是，热衷量化指标和对量化指标的恐惧将会继续下去。因为量化评价不仅是政策制定者的重要参考，也是研究机构制定竞争资源策略的需要。

一方面，对高等教育公共支出和研究评估越来越困难，另一方面，政策制定者也越来越依赖研究质量和影响力的量化分析。研究机构为了发展战略也需要对科研进行有效管理，也需要抢夺声望、学生、员工和资源。这也造成对实时大数据分析、研究工具和能力的客观需求。

广泛使用量化指标和社会影响指标有其积极意义，能让社会变的更加开放，促使学术研究体系更开放更负责。不过，调查发现只有少数科学家支持使用量化指标，这说明整个科研领域对量化评价存有争议和误解。

James Wilsdon的观点是，支持使用量化指标，但不能取代同行评议。同行评议并不完美，但是目前最好的学术评价形式，应成为评价学术论文、研究方案和个人的基础方法。

量化指标只能局限于开放的能相互操作的系统内使用，基础数据是收集和处理方法的开放程度，是量化指标可靠性的重要基础。没有正确的标识、标准和语义，任何指标都会失去价值。

大学、基金资助机构和出版商需要协调共享其数据，让研究人员和数据系统更容易获得相关数据，尤其是基金项目。如果指标可靠,而不增加管理负担，科学家团体应该广泛采纳，如ORCID标示将给个人和研究工作带来很多方便。

将复杂的问题变成简单分数有诱惑力，但令人担心的是将量化指标作为游戏规则的指挥棒，导致意想不到的后果。人员管理和招聘委员会必须避免将量化指标作为任命和晋升决策的依据。在评价学术质量和产出对政策、产业和社会的效益方面必须包括专家的判断。

有时候，只要负责地使用符合标准指标，用量化指标作为决策依据是有用的。例如，文章引证指标评价学术影响力非常有用，但也要充分考虑到其局限性。期刊影响因子作为判断期刊水平是有价值的，但是不能作为论文和作者水平影响力的依据。为了减少滥用的可能性，出版商应该停止他们对期刊影响因子的不健康宣传。

从学术研究角度，科学家应该开发更全面更准确的度量方法或评价指标。分析问题，讨论都十分关键，James Wilsdon的博客上专门对评价指标进行讨论。参考英国文学评论每年都有“最烂性爱剧情奖”，该网站每年评选出“最烂学术评价指标”奖。不过可能会有许多候选者。https://responsiblemetrics.org/

http://www.nature.com/news/we-need-a-measured-approach-to-metrics-1.17928 

相关专题：科研评价指标功与过
转载本文请联系原作者获取授权，同时请注明本文来自孙学军科学网博客。
链接地址：https://blog.sciencenet.cn/blog-41174-905285.html

上一篇：中华卒中史记（2）地利
下一篇：大脑互联技术再进一步