zhaoxing的个人博客分享 http://blog.sciencenet.cn/u/zhaoxing

博文

新型期刊评价方法 精选

已有 12672 次阅读 2011-1-29 05:41 |个人分类:学术期刊|系统分类:科研笔记| 期刊评价, 引文分析, 期刊影响力, 科学计量学

赵星     2011年1月29日于科学网博客(http://blog.sciencenet.cn/?1898
(本文系笔者过去两年关于此主题的工作小节,转载敬请标明出处)
 
    过去两年的学习兴趣,除了h指数,就是新型的期刊引文测评方法。特别关注期刊是因为,这是一个特殊的评价层次:期刊的测评连带着另外两个基础层次——人与论文。现实的评价关切中,对于不是非常熟悉的研究方向,我们常常无力或懒于去判断那个人或者论文到底好不好,而通常从发表的期刊水平去估计,并潜移默化。期刊水平也就经常被不合学理但合乎情势的用于了表征人和论文的水平。
    因此,对于期刊的正确评价,就显得特别重要。
    长期以来,期刊测评方法可分为相对定性的同行评议与相对定量的量化测评。量化测评中,又以引文测评方法最为常用,例如众所周知期刊影响因子(IF)。但影响因子存在人为操纵、统计错误、语言歧视及选源标准不清等诸多问题[1],引发了不少争议。另一方面,单一测评方法总有局限,学界较普遍认为应将多种方法配合使用[2],以规避单一指标缺陷带来的风险。因此,新型期刊引文测评方法的研究成为近年来国内外文献/科学/信息计量学研究的热点[3],已产生h型指数(h type indices)、网络中心度(Network centrality)、SJR指数(SJR index)和特征因子(Eigenfactor)等颇具特点的新方法。下面分别讨论。
 
1.期刊h型指数:高被引论文数量及被引强度的简单测度
    h指数[4]提出后,Braun[5]等最早将其用于期刊测评。期刊h指数表示期刊至多有h篇论文被引用了至少h次,测量了期刊的高被引论文数量及其被引强度,具有理念先进且导向积极,计算简单而结果稳健[6],可灵活选择统计时间区间,鲁棒性更强等诸多优点。h指数随后也产生了一些改进和补充参数(如g指数、我国计量学家金碧辉老师等人[8]提出的a指数和r指数等),与h指数一起统称为h型指数。h型指数是近年国际上计量学最主要研究热点(或许不用加“之一”),而期刊h指数是仅次于原始h指数的常见应用。
 
2. 期刊中心度:期刊引文网络视角的引证中心性测量
    Price[9]很早就提出,由期刊论文为节点,论文之间的引证关系为联系,可构成引文网络。但计量学自身并没有诞生出研究这类关系数据的较有影响力的量化方法。直到本世纪初,由于复杂网络研究的带动等原因,社会网络分析成为社会科学的一时显学[10],并引起了计量学界关注。Leydesdorff[11]于2007年指出,运用社会网络方法,可根据期刊在引文网络中所处位置的重要程度来评判期刊的学术地位。网络位置的重要程度可用中心性指标评判[12],我们的一项工作[13]表明中心性指标中的点度、中介和特征向量中心度用于期刊测评时的有效性较佳,其测评结果都比影响因子更接近同行专家的意见。
    引文并不仅是定量数值。引证行为本身也包含了施引学者对于被引论文的定性价值判断,涉及各种情景构建下的社会性因素,故描述期刊在引证关系结构中地位的中心度则可能有更多定性特征,颇具特点。
 
3.期刊SJR指数:基于Scopus数据库的的期刊声望判定
    Elsevier公司的Scopus数据库是Thomson Reuters公司的Web of Science(WOS,包含大名鼎鼎的SCI和SSCI等)目前最主要竞争对手,但Scopus此前一直缺乏类似于Thomson Reuters公司期刊引证报告(JCR,提供了影响因子等著名指标)这样较有影响力的期刊测评工具。直到2007年,西班牙的SCImago研究小组使用Scopus数据给出了新型期刊测评指标SCImago Journal Rank(SJR)[14],引起广泛关注,Butler[15]指出这一指标颇具创新的衡量了期刊的声望。我们[16]的实证显示,SJR与影响因子的测评结果既有相关性,也有所区别,可与影响因子联合判定出期刊在流行与声望两个维度上的特点。SJR的计算思想与前述期刊中心度中的特征向量中心度相似,但具体算法[14]有所区别[13]。SJR的出现为国际期刊测评提供了新的参考标准,并免费提供下载,或能对Thomson Reuters公司在这一领域垄断形成潜在的威胁。
 
4.期刊特征因子:基于WOS数据库的期刊被引数量及引文价值的综合测评
    Garfield提出IF后后不久,Pinski等人[17]就指出可采用论文被引次数作为权,计算每条引文的权重。但此思想在当时技术条件下实践难度较大。随着计算机性能的提高,二十世纪末,Google公司创始人Brin和Page[18]参考加权被引思想,提出了PageRank算法进行网页测评和排序,取得巨大成功。2007年,Bergstrom等人[19]使用类PageRank算法构建了Eigenfactor这一新的期刊引文测评方法,将Pinski等人的理论成功实现。科学网博主任胜利老师[20]提出其中文名可命为特征因子。2009年初,Thomson Reuters公司正式采用特征因子作为JCR的指标,标志着这一参数开始进入主流应用。
    特征因子将期刊引文测评方法的理论假设从“所有引文重要性等价”修正为“引文重要性正比于施引期刊重要性”,这比传统引文测评中仅依据被引次数似乎更为合理。特征因子作为一个总量性指标[1],思想与特征向量中心度和SJR都有所相似,而特征因子的具体实现更接近PageRank算法。
 
5.讨论
    虽然四种新型期刊引文测评方法有所差异,但期刊中心度中的特征向量中心度、SJR和特征因子,都是对期刊进行影响力加权计算的方法,都以不同方式和程度上的体现了“重要期刊的引用更有价值或影响力”这一观点,这也是其与传统引文测评本质的差别之一。另外,h型指数和中心度的计算可由测评者控制,更为灵活但缺乏统一标准;SJR和特征因子由测评机构公布,更为规范但难以验证。期刊中心度的一个有趣之处在于,当把数据限定为某一学科范围时,是一种局域视角的研究领域“小同行”引用认同模式,可能更为专业和准确,并能减少学科差异的影响;而当把数据范围扩大为全部学科时,中心度方法又成为全局视角的测评,其中的特征向量中心度与SJR和特征因子较为相似。
    当然,这些新型参数也都必然存有不足之处。h型指数的计算仅涉及相对高被引的论文,但相对低被引论文是否全无价值?期刊的中心度和特征因子都会受到期刊规模(即载文量)的影响,是否应该进行基于载文量的平均化处理值得讨论。但平均化的处理方式也可能夸大载文量较少的综述类期刊的影响力。另外,缘于引文分析的固有局限,新参数也未必能全面克服IF所面临的问题。
    总之,试图依靠某一量化指标解决期刊测评这一复杂问题目前似无可能,单一的新型期刊测评方法仅能从某一方面逼近实际却无法面面俱到。期刊评价还是需要观测多种方法的结果,也期待科学界一同努力探索。
    顺道提及,发明h指数的Hirsch是物理学家,给出特征因子的Bergstrom之前一直从事生命科学研究。
 

参考文献:

[1]     赵星.期刊引文测评新指标Eigenfacto的特性研究——基于我国期刊的实证.情报理论与实践,2009, 32(8):53-56.

[2]     Harnad S.Multiple metrics required to measure research performance.Nature,2009,457(7231):785

[3]     赵星,高小强,郭吉安,陶乃航.基于主题词频和g指数的研究热点分析方法.图书情报工作,2009, 53(2):31-34.

[4]     Hirsch J.An index to quantify an individual’s scientific research output.PNAS,2005,102(46):16569- 16572

[5]     Braun T,Glänzel W, Schubert A. A Hirsch-type index for journals. Scientometrics, 2006,69(1):169-173

[6]     叶鹰.h指数和类h指数的机理分析与实证研究导引.大学图书馆学报,2007(5):2-5

[7]     Egghe L.Theory and practise of the g-index.Scientometrics,2006,69(1):131-152

[8]     Jin B, Liang L, Rousseau R, et al. The R- and AR-indices: Complementing the h-index[J]. Chinese Science Bulletin. 2007, 52(6): 855-863

[9]     Price J. Networks of Scientific Papers.Science,1965,149: 510-515

[10]   Borgatti SP, Mehra A, Brass DJ, et al. Network Analysis in the Social Sciences[J]. Science,2009, 323(5916): 892-895

[11]   Leydesdorff L.Visualization of the citation impact environments of scientific journals: An online mapping exercise.JASIST,2007,58(1):25-38

[12]   Scott J. Social Network Analysis: A Handbook. London: Sage Publications,2000

[13]   高小强,赵星,陶乃航.网络中心度用于期刊引文测评的有效性研究.大学图书馆学报,2009,5:61-65.

[14]   SCImago. www.scimagojr.com

[15]   Butler D.Free journal-ranking tool enters citation market.Nature,2008,451(7174):6

[16]   赵星,高小强,唐宇. SJR与影响因子、h指数的比较及SJR的扩展设想.大学图书馆学报,2009,2: 80-84.

[17]   Pinski G, Narin F. Citation influence for journal aggregates of scientific publications: Theory, with application to the literature of physics. Information Processing and Management,1976,12(5):297-312

[18]   Brin S, Page L,Motwami R et al. The PageRank Citation Ranking: Bringing Order to the Web. Stanford Digital Libraries Working Paper,1998,6:102-107

[19]   Eigenfactor. www.eigenfactor.org

[20]   任胜利.特征因子(Eigenfactor):基于引证网络分析期刊和论文的重要性.中国科技期刊研究,2009, 20(3):415-418

 

注:

1)本文四种方法的一项小型实证研究请见:马丽,赵星,彭晓东.新型期刊引文评价方法比较研究.情报理论与实践,2010,5(33):71-75.

2)此外,5年期影响因子亦是一种新进入实用的参数。详见:赵星. JCR5年期影响因子探析.中国图书馆学报,2010,36(187):116-123.



http://blog.sciencenet.cn/blog-1898-408807.html

上一篇:中国历史上最早的SCI论文
下一篇:也去本月22日北大的全国情报学博士生论坛吗?

21 吕喆 刘进平 任胜利 武夷山 陈辉 周春雷 陈安 钱俊斌 刘广明 孙学军 化柏林 金小伟 胡泽文 王启云 曾新林 许培扬 杨冠灿 何学锋 胡小洋 张丽英 dulizhi95

发表评论 评论 (13 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-10-19 04:01

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部