博文
改善科学测度学之科学性
精选
||
| 改善科学测度学之科学性 |
2008年11月10日，我曾在科学网博客发文介绍美国国家科学基金会的“科学与创新政策学”计划（http://www.sciencenet.cn/m/user_content.aspx?id=46116）。该计划的主任叫Julia Jane，她在2010年3月25日出版的Nature杂志上发表了题为《让我们使科学测度学更科学》（Let’s make science metrics more scientific）的文章。按我的理解，science metrics（科学测度学）这个词与Scientometrics（科学计量学）几乎是同义词。我建议，中国的科学计量学工作者都应认真读读这篇文章。下面，我一方面介绍一下此文主要内容，另一方面穿插一些自己的看法。
科学测度学依赖于数据，数据的清洁性（质量）特别重要。现在大家比较认可的有汤森路透的Web of Science数据库、美国国家经济研究局专利数据库（US National Bureau of Economic Research Patent Database），等等。还需要开发更多的面向评估或具有评估功能的数据库。
在数据质量方面，巴西的Lattes Database堪称典范（见http://lattes.cnpq.br/english/），它搜集了巴西约4000家大学与科研机构的160万科研人员的科研产出、个人学术简历等高质量数据。
在科学测度方面，去除人员重名信息极其重要。2009年12月，汤森路透集团和自然出版集团等单位共同发起了ORCID项目（Open Researcher and Contributor ID，“科研人员与投稿者身份识别开放项目”），其意义同科学文献领域的DOI（数字唯一标示符）是一样的。DOI好比是科技文献的身份证，一文一证；ORCID好比是科研人员的学术身份证，一人一证。
科学测度基础工作的规范化特别重要，否则，你搞一套，我搞一套，各自的数据都不能相通，就无法共享。2010年1月，美国国家科学技术理事会下属的Research Business Model Subcommittee（科研商业模式分委员会）推荐了一套科研成果报告方式，叫“科研绩效进展报告规范”（Research Performance Progress Report）。有了这套规范，每个科研人员就可以用统一的方式开列自己的各类成果：发表的论著、创办的网站、作的学术报告，等等。
科研活动到底产生了怎样的影响，这是大家都关心的。在美国白宫科技政策办公室的支持下，美国国立卫生研究院和国家科学基金会牵头，正在搞一个STAR METRICS项目，其字面意思是“明星测度”，缩略语的展开是Science and Technology’s Reinvestment—Measuring the Effects of Research on Innovation，Competitiveness and Science，意思是“科学技术再投资——研究活动对创新、竞争力和科学的影响”。这个项目的成果值得密切关注。
在过去，论著发表类指标受到了最多的青睐，今后，还应关注论著指标之外的其他产出指标，例如：专利申请数与授权数、开发的产品原型数，等等，甚至还可以统计一下，科研人员制作、在YouTube上发布的科学视频节目有多少。
搞评估，一定要考虑不同领域、不同学科的特点。例如，物理学家很热衷于用预印本形式发表成果，计算机科学的同行则发表了较多的工作论文，也更喜欢在学术会议上进行交流。今后，在评价不同领域时，应当对期刊论文、预印本论文、工作论文、会议报告、专著等不同形式的成果赋予不同的权重，而不应该用同一套标准评价不同领域。
除了上述这些经典性的指标外，还应探索数字环境下的新指标。例如，Andrew W. Mellon基金会和国家科学基金会曾经联合资助过一个项目，叫MESUR（Metrics from Scholarly Usage of Resources，信息资源的学术利用所产生的测度，见http://www.mesur.org/MESUR.html）。该项目是由美国国立洛斯阿拉莫斯实验室承担，在2006年至2008年期间完成的。在这个项目中，人们试图回答诸如此类的问题：如果一篇论文被搜索的次数较多，被查寻（be queried）的次数较多，读者阅读此文花的时间较多，那么该文的价值是否就比较高。
测度指标会影响科研人员的行为，因此，这方面的行为科学研究非常重要。否则，你设计出一个指标本希望达到这个目的，但“上有政策，下有对策”，指标测度带来的最终实际效果也许完全偏离了最初希望达到的目标。
总之，科学测度学的任务，不能仅仅满足于能够识别出谁是明星科研人员，哪个国家的科学实力最强，哪些研究主题最热。而要争取能回答：做一名优秀科学家到底意味着什么？
无论在我国还是其他国家，基于科学计量学的评估活动和评估结果总是引起很多争议。可以看出，尽管存在着争论，但美国联邦政府对于这类研究的支持是扎扎实实的。他们希望通过切实可信的研究成果来推进基于科学计量学的科研绩效评估，而不是一碰到争议就退缩，因噎废食。
（作者为中国科学技术信息研究所研究员）
《科学时报》 (2010-5-28 A3 周末评论)
https://blog.sciencenet.cn/blog-1557-330790.html
上一篇：[转载]郑渊洁：我是一个堂吉诃德式的人
下一篇：[转载]针灸止痛 确有此理
