武夷山分享 http://blog.sciencenet.cn/u/Wuyishan 中国科学技术发展战略研究院研究员;南京大学信息管理系博导

博文

为马峥的著作《基于信息熵的科技学术期刊评价方法研究》写的序 精选

已有 4748 次阅读 2022-1-19 07:53 |个人分类:科学计量学研究|系统分类:观点评述



正版包邮 基于信息墒的科技学术期刊评价方法研究 马睁 心科技期刊评价 研究 情报学情报工作书籍 科学技术文献出版社




为马峥的著作《基于信息熵的科技学术期刊评价方法研究》写的序

武夷山

 

 

马峥同志的博士学位论文《基于信息熵的科技学术期刊评价方法研究》经修改完善,将由科学技术文献出版社出版,我感到十分高兴。

他的学位论文稿送外部专家匿名评审时,碰到了一位要求非常严格的专家,这位评审者提出了极其尖锐的意见,因此,马峥认认真真将稿子修改了好几遍,简直就像脱了几层皮。马峥和作为论文指导教师的我都衷心感谢这位评审者。同“严师出高徒”的道理一样,“严审”应该也“出佳文”吧。

我个人认为,这本书的内容有一点是值得特别赞许的,即马峥实质上采用了“反事实方法”来进行科技期刊评价,尽管他自己当初不一定意识到了这一点。

反事实方法便是采用“如果怎样,便会如何?”(What if)的思想实验。反事实方法是可以在科技评价领域大显身手的。美国环境保护局认为,评价项目的净效果的一种方法,便是将项目的成果与若是没有这个项目将会发生的情况进行对比(https://scholar.harvard.edu/files/malf/files/jhsph-ie-2014_-v10.pdf)。这一评价思路就属于反事实的评价思路。

举一个例子,美国国会的GAO(原来这个机构的名称是General Auditing Office——“审计总署”,现在这个机构已改名为Government Accountability Office——“政府问责办公室”,但前后两个名称的缩写不变)在20世纪90年代调查联邦政府研发税收优惠的效果时,向很多企业发问:“如果没有联邦政府的研发支出税收优惠措施,贵公司的研发支出会不会少一些?”这是一个反事实的提问。该提问获得的真实信息,是很多定量评价难以企及的。在调查中,绝大多数企业对那一反事实提问的回答是(大意):“如果不加强研发投资,我们怎么能获得竞争优势呢?不管联邦政府有没有研发税收优惠措施,我们的研发支出是不会少的!当然,我们对这一措施是支持的”。GAO的研究结论是:联邦政府推出研发支出税收优惠措施的目的,是激励企业进行更多的研发投资,而不是对研发投资行为进行“经费报销”鼓励。既然多数企业并未因为该措施而进行更多的研发投资,就可以认为联邦政府是白忙活了。

    马峥同志最初的博士学位论文选题思路基本上被我否定了。当他与我讨论新的选题思路(即利用信息熵来评价科技学术期刊)时,我突然意识到,他打算探索的方法实质上属于反事实方法:将待评价期刊从由一批期刊构成的知识系统中抽除(抽除是不可能的,因而是反事实的),看看整个知识系统的熵是增加了还是减少了。如果系统的熵减少了,说明该期刊对知识系统做出了正面贡献。意识到这一点,我非常兴奋,就坚定地支持这一选题。我认为,博士学位论文在科研设计上具有如此的创新性,是非常难能可贵的。这一新颖设计就奠定了马峥博士学位论文的质量基础。

    按照这样的思路,马峥同志采集了WOS、EI等外文数据库和中国科技信息研究所自建的“中国科技论文引文数据库”的大量期刊数据,验证了论文思路的可行性,取得了较令人满意的结果。

本书存在的不足是,作者采用7个指标来计算期刊论文组成的知识系统的熵,是有一点点随意性的。假定采用其他一组指标来计算知识系统的熵,万一在被评价期刊缺位的情况下,系统的熵反而增加,那可怎么办?简直是五雷轰顶了!因此,下一步必不可少的工作,就是研究出没有争议或较少争议的指标体系,用于知识系统之熵的计算。

在此顺便说一点点题外话(相对于马峥的著作而言),即什么样的科技评价研究成果算是好成果?

在自然科学领域,发现了自然规律或向这样的发现逼近的研究成果是毫无争议的好成果。我认为,在人文社科领域,好的研究成果除了具有学术意义外,还应能引导好的行为。将有关规律摸清后,据此规律去规范、影响人的行为,是一种作用模式;有时候,相关研究尚未深入到把握了规律的程度,或者在相关研究主题上不一定存在着像自然规律那么硬的规律,但研究过程中产生的半成品也能引导人的行为向好的方面转变。但是迄今为止,人们尚不太注意第二种影响行为的路径。

举个例子,我们中国科学技术信息研究所的科学计量学研究团队在国家自然科学基金支持下完成了面上项目“论文零被引的时间演化规律、影响因素及其应用研究”的研究。这个项目的任务之一,是想识别潜在的“睡美人”文献,并将其尽早唤醒。

“睡美人”是荷兰科学计量学家、普赖斯奖得主 Anthony F.J. van Raan教授于2004年提出的隐喻概念,指的是有些文献在发表后的相当长一段时期内未获得任何引用或被引次数很低,仿佛睡美人在沉睡,而后突然高被引,就像被唤醒一样。那么,对于唤醒睡美人做出重大贡献的施引文献就称为王子文献,因为在传说中,是一位年轻王子吻了睡美人之后,睡美人才苏醒过来的。

我们这个团队曾长期探索,科技情报人员能否识别出潜在睡美人文献并今早加以推荐,但迄今的研究表明,这条路未必能走通。当然,我们还得继续探索这条路。

既然引导良性行为是人文社科优秀成果的判据之一,那么,如果上述的路走不通,我们不妨退而求其次,探索另一条路,即培养王子(或曰王子型引用者),推动王子身份的确认

设想一下,当我们识别出了足够多的王子文献后,就可建立王子文献作者的数据库。然后,可向这些作者发放问卷,同时向对照组(比如与王子文献作者同机构且与王子文献作者合著过论文的另一学者)发放问卷,了解他们的学术行为习惯,比如:他们平均每天花多少时间读文献?喜欢按刊物逐篇浏览还是在数据库进行文献检索后只浏览、阅读检索出的相关论文?他们喜欢(或擅长)写综述文章还是原创论文?他们引用文献时是否介意被引用者本人的身份高低和其所在单位的名气大小?等等。通过这类调查研究,看看这些王子型引用者是否有不同于对照组的共同行为模式。如果有,我们可以写文章将这些模式宣示出来,则有志于做王子型引用者的学者会自觉不自觉地将自己的行为模式向我们介绍的王子行为模式上靠。这样,我们就实质上为培养王子做出了间接贡献。有了更多的王子,具备睡美人潜质的论文就更可能被较早地唤醒,这对于科学事业发展具有重要意义。科学发现的迟滞承认是一种现象,而并非规律——并非所有科学发现都将遭逢迟滞承认的命运。尽早唤醒具备睡美人潜质的、暂时零被引的论文,就可能将即将发生的、严重的迟滞承认转化为轻微的迟滞承认。

找出王子文献的快速准确识别方法,是纯学术研究;诱导更多的学者成为“王子型引用者”,则是通过研究来影响行为的第二种路径。

科技评价研究是典型的可以而且应该影响人的行为的学术领域。我们假想一种情景:某学者通过统计分析,发现标题较长的科技论文能获得较多引用。于是,某些作者看到这样的“研究成果”后,为了提高自己文章的被引用次数,就刻意将标题抻长。在这种情况下,那个成果客观上引导了不太好的行为。

我们再假想一个研究课题:“固定收入较高+义务性学术劳动”与“固定收入较低+有偿学术劳动”这两种模式,哪一种的长期效果更好?发达国家主要采用的是前一种模式,科研人员有像样的收入,但评审稿件等都是义务劳动。我国目前主要是后一种模式,大家心知肚明。假定研究结论是斩钉截铁地认可前一模式,并使我国负责科研管理、财务管理、审计监督、纪检监督等工作的相关部门都能制定更加务实、更加协调、更加能调动科研人员积极性与创造性的政策条规,则这样的研究亦可彪炳史册了。

马峥也好,其他科学计量学研究人员也好,有谁愿意迎接类似的挑战呢?我期待着。

 

武夷山

中国科学技术发展战略研究院退休研究员

2021.7.20


本书淘宝购书页面如下

https://m.tb.cn/h.fk3vf7o?tk=fyGN21LBMPd



  • 书名: 基于信息熵的科技学术期刊评价方法研究

  • 作者: 马峥

  • 定价: 98.00元

  • 出版社名称: 科学技术文献出版社


部分目录如下:


第1章绪论........................................................................ 1 

1. 1 研究背景..................................................................... 1 

1. 2 研究目标和意义......................................................... 15 

1. 3 研究内容.................................................................. 17 

1. 4 研究思路.................................................................. 19 

第2章相关研究综述............................................................ 23 

2. 1 科技学术期刊传播规律的研究…………………… ……………23 

2. 1. 1 对科技学术期刊传播模式的研究………………………23 

2. 1. 2 基于引文分析探索科技学术期刊生命周期

全过程的研究................................................... 24 

2. 1. 3 基于知识扩散理论的期刊信息传播研究………………25 

2. 1. 4 数字化时代给学术期刊传播方式带来的变化和相关

问题研究......................................................... 26 

2.2 学术期刊评价方法的研究............................................. 28 

2.2. 1 基于同行评议的学术期刊评价办法……………………28 

2.2.2 基于传统计量学的学术期刊评价方法…………………30 

2.2.3 基于替代计量学的学术期刊评价方法…………………40

2.2.4 期刊评价活动长期存在的挑战…... ……………………51 

2.3 熵的概念与研究应用................................................... 61 

2. 3. 1 热力学熵概念...................................................61 

2.3.2 玻尔兹曼熵概念................................................62 

2.3.3 信息熵概念......................................................63 

2. 3.4 信息熵概念的发展.............................................64 

2.3.5 信息熵的应用...................................................67 

2.4 本章小结.................................................................. 70 

第3章知识系统信息熵的测度………………………………………73 

3. 1 知识系统信息熵的概念................................................ 73 

3. 1. 1 基于信息熵的学术期刊出版研究………………………73 

3. 1. 2 学术传播的系统属性.................. .................. ...... 75 

3. 1. 3 知识系统不确定性的构成...……………………………77 

3. 1. 4 知识系统信息熵的定义....................................... 79 

3.2 测度知识系统信息熵的原理.......................................... 80 

3.2. 1 构造指标矩阵...................................................80 

3.2.2 标准化处理......................................................81 

3.2.3 知识系统信息熵数值的计算..................... ............ 81 

3.3 以能源领域为样本测度一个知识系统的信息熵………………83 

3. 3. 1 数据来源.........................................................83 

3. 3.2 知识系统信息熵数学模型.................................... 86 

3.3.3 指标计算.........................................................88 

3.3.4 实证:以能源领域论文为样本…... ……………………93 

3.4 本章小结.................................................................. 96 

第4章学术期刊对知识系统贡献的测度模型……………………99 

4. 1 研究假设和思路......................................................... 99 



 




https://blog.sciencenet.cn/blog-1557-1321652.html

上一篇:[转载]人人可用的文化设施是一座城市的面容
下一篇:我对地区科技进步贡献率测算的几点看法——日记摘抄751

21 赵凤光 许培扬 张学文 王兴 尤明庆 周忠浩 黄永义 王启云 史晓雷 马峥 杨正瓴 刘玉仙 信忠保 籍利平 陆仲绩 晏成和 曹俊兴 李学宽 杨帅 张鹰 段黎萍

该博文允许注册用户评论 请点击登录 评论 (8 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2022-5-26 16:53

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部