武夷山分享 http://blog.sciencenet.cn/u/Wuyishan 中国科学技术发展战略研究院研究员;南京大学信息管理系博导

博文

为俞立平教授《学术期刊评价:指标创新与方法研究》一书写的序

已有 2323 次阅读 2023-10-22 11:52 |个人分类:科学计量学研究|系统分类:观点评述

为俞立平教授《学术期刊评价:指标创新与方法研究》一书写的序

武夷山

 

俞立平教授的这部新作是专门研究学术期刊评价的,我这里想先评价一下俞立平在学术研究上的几个特征。

第一,俞立平教授勇于创新,经常在思考和探索前人和外国人都没有思考过的问题。

例如(我过去在给俞立平教授另一本著作写的序中举过下面这个例子,但我觉得有必要再次强调这个例子),据中国知网的统计,俞立平在2009年发表于《图书情报工作》的文章“学术期刊综合评价数据标准化方法研究”迄至2023年2月7日已被引用了252次,在其全部论文中被引次数排在第二位;据学术谷歌,该文在英文环境里被引用了44次,有些引用者是情报学以外学科的国外学者。

为什么这篇只有4页的小文章受到同行如此青睐?因为它提出了一个重要的问题:通过取倒数对反向指标的数值进行标准化处理的传统方法是不合适的,因为在y=1/x的函数关系下,X轴上每增加或减少一个等量数值,Y轴上所对应的数值却不是等量增加或减少的,即y不是随着x线性变化的。这就影响了评价的公平性。中外学者成千上万,在2009年之前有人关注过这一缺陷吗?没有。俞立平教授提出了这个问题,且拿出了解决方案。至于能否用一个更简洁的公式来替代他提出的较繁杂的标准化公式,则是次等重要的问题了。

第二,俞立平教授长期抓住科技评价问题不放,锲而不舍。

1993年间,本单位人事部门推荐我参加副研究员职称破格申报,因为按照当时的规定,破格参评若获得通过,则可以不占用本单位的职称名额指标。这样,我就不能在本单位的副研究员职称评审委员会参加申报答辩,而要到科技部研究员职称评审委员会参加申报答辩。答辩过程中,评审委员会的一位专家向我提问说:“你已经发表了不少成果,有些成果的内容也很有意义,但这些成果所属的领域很宽。你想过没有,你到底是研究什么的?”我解释说,中国科学技术信息研究所作为科技部下属机构,必须响应科技部各司局的各种调研需求,因此我们难免在科研选题上是东一榔头西一棒子的。尽管我顺利通过了评审,破格获得了副研究员职称,但那位专家的提问一直萦绕在我耳际。后来,我确实是更加聚焦于科学计量学研究了。

因此,我欣喜地看到,俞立平从2008年进入中国科学技术信息研究所“图书情报与档案管理”学科博士后科研工作站开始,就坚定地接过了我建议的“科技评价研究”选题,呕心沥血地开展研究。出站后,他矢志不渝地继续开展相关研究,迄今已在期刊评价研究这块园地辛勤耕耘了15年。2011年,他发表了著作《科技评价方法基本理论研究——多属性评价面面观 》;2017年,他推出了著作《科技评价理论与方法研究》;2021年,《计量视角下的科技评价》一书问世;如今,他的第四本著作《学术期刊评价:指标创新与方法研究》即将付梓,实在是可喜可贺!

第三,俞立平教授在学术研究中坚持实事求是,努力不受非学术因素的干扰。能做到这一点,在当代中国殊为难能可贵。

例如,2020年2月,科技部印发《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》的通知,提出在科技项目、科研基地、基础研究机构、国家奖励、人才评估等方面全面推行代表作制度,对各种科技评价中实行代表作制度提出了具体的要求。有些学者即使发现代表作制度存在一些问题,但也可能不敢提出相应批评,害怕批评举动“不合时宜”。但是,在本书2.4.3小节,俞立平教授就大胆、客观地从四个侧面列出了代表作评价存在或可能存在的19个问题。当然,他不是单纯提出批评,接着还提出了改进优化代表作制度的方案。

本书专门讨论学术期刊的评价。我想,在学术期刊评价研究的全面性、系统性、深刻性和细致性方面,大概全世界也不容易找出能超过俞立平教授的了。

俞立平教授以量化研究见长,但他并非不重视质性的分析。例如,本书2.1.4小节提到,关于大学评价的著名柏林原则从大学排名的意图与目标、指标设计与权重分配、数据搜集与处理、排名结果公布4个方面提出了16条原则。而本书提出了关于学术期刊评价的8条原则。柏林原则的16条中,有12条与俞立平教授的8条原则的含义相同、暗合或密切相关。可见,这8条原则的梳理是很见功力的。

当然,本书更多的章节是精彩的定量分析,尤其是新指标的设计与应用。他提出的一些新指标最终能否在业内获得认可和应用且不说,但至少是非常有趣的,读者会忍不住要关注这些讨论,打开思路。例如,我们都知道“即年指标”是常用的期刊评价指标,指的是某一期刊发表的论文在发表当年的被引量除以当年的载文量。由于该指标存在一些缺点,俞教授就别出心裁地提出了“次年因子”指标,即期刊发表论文一年后的被引量除以该期刊当年的载文量。这一类的内容可以给科学计量学与信息计量学领域的初入门者和已入门的同行提供很多启迪。

笔者退休快5年了,但越来越感到:学术期刊评价和广义的科技评价是一片广阔的天地,在这里是可以大有作为的。尽管文献计量学评价指标一直以来受到不少批评,但我希望读者记住:它属于一种heuristic(启发式)评价指标,因此价值不菲。

举个国外学者提供的例子来说明什么是助力启发式决策的指标。假如一位心梗患者被送到了医院,医生需要迅速决定这个病例是否属于高危,以确定后续处置方案。将病人的所有理化指标都测出来再作判断,是根本来不及的。在实践中,医生采取的简易决策方式如下:如果病人的收缩压低于91,则判定为高危;收缩压高于91,则看病人的年龄,小于62.5岁者则不属于高危;大于62.5岁者,则看看是否有窦性心动过速,有窦性心动过速则判定为高危。这样,测一下血压和心电图,最多回答三个问题,就能做出性命攸关的决策。

大家普遍认为,通过同行评议方能对一个人、一个团队或一个机构进行较为准确、靠谱的学术评价。可是,假定我们需要尽快地了解一个人、一个团队或一个机构的大致学术水平,且根本来不及调集同行专家来做判断,怎么办?此时,通过论文数、引文数、专利数、h指数之类的文献计量学指标,还是可以做出粗略、迅速且较为准确的判断的,这与上述医学诊断的例子有点像。

正因为如此,供职于德国马普学会的科学社会学家Lutz Bornmann和瑞士洛桑大学的Julian N. Marewski教授于2018年间共同撰写了一篇文章,此文先是发表于ArXiv预印本文库上。文章题目是:Heuristics as conceptual lens for understanding and studying the usage of bibliometrics in research evaluation(将启发法作为科研评价中采用文献计量学方法之认识与研究的概念透镜)。笔者2018年7月20日在科学网博客撰文简介了这篇文章。一年后,该文又正式发表于Scientometrics(科学计量学)杂志上(https://link.springer.com/article/10.1007/s11192-019-03018-x)。也是在2019年,在罗马召开的第17届科学计量学与信息计量学国际大会宣布,2019年普赖斯奖(国际科学计量学领域的最高荣誉)颁发给德国科学计量学家Lutz Bornmann。他在这个会议上的发言就是围绕“基于文献计量学的启发法”展开的。我衷心希望,所有科学计量学研究人员都仔细研读一下Lutz Bornmann发表于Scientometrics的这篇文章。

在文章中,他谈到自己认可一种重要观点,“普遍认为,复杂的任务就需要有复杂、精致的解决方案,因为简单的解决方案降低了精准度,而启发法研究则表明,“较少的信息、计算量和时间其实能够改善精准度”。

俞立平教授迄今的期刊评价探索之可贵之处,主要是越做越细。如果以Lutz Bornmann基于文献计量学的启发法”( Bibliometrics-based heuristics (BBHs)思路为指导,俞教授和其他科学计量学同道完全有可能拓展新的思路,研发出既精准、计算量又小从而具有更大应用价值的新型评价指标。用中国古人的类比来说,原先的期刊评价研究状况属于“看山是山,看水是水”;以俞立平教授为代表的一批学人的系统化、细致化的期刊研究状况属于“看山不是山,看水不是水”;吸收了BBHs思路的未来期刊研究成果,将达到或回归到“看山还是山,看水还是水”的怡人境界。

这是我对俞立平教授及其同道者的期许。

是为序。

 

中国科学技术发展战略研究院退休研究员

武夷山

2023年2月8日

 

学术期刊评价——指标创新与方法研究,俞立平 著,武汉大学出版社,2023年4月第一版。

京东购书页面: https://item.jd.com/13980384.html

 




https://blog.sciencenet.cn/blog-1557-1406796.html

上一篇:期刊论文评审意见一则(2013)
下一篇:为杨立英研究员团队的译著《智慧计量:科学计量学使用指南》写的序
收藏 IP: 1.202.113.*| 热度|

15 尤明庆 陆仲绩 杨正瓴 胡泽春 何青 郑永军 许培扬 籍利平 周忠浩 王启云 崔锦华 刘炜 杨学祥 李升伟 孔玲

该博文允许注册用户评论 请点击登录 评论 (6 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-2 23:26

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部