|||
基于CSSCI的图情类期刊h指数评价研究*
周春雷 苏金燕 罗力
(本文将发表于 图书情报工作,2009(8) )
博主按:针对有博友质疑“h指数精确注水”概念的理论意义和现实价值问题,贴上这篇习作供大家讨论。
虽然在作者层面,注水会显得很容易暴露,成本也非一般人所能负担。但是,更大层面的h指数评价问题呢?比如期刊h指数、大学h指数等,如果真用h指数来评价,以目前众所周知的质量水平,希望还能看到对研究注水问题之价值的底气十足的批评。
我指出这些作弊手段自然不是为了鼓励作弊,也不是为了指责哪些现象。因为这些现象毕竟还是设想中的。作为尚不能称为学者的研究者,我指出这些问题只是想表达一下理论层面的担忧。我希望我的研究方法是科学、客观、严肃的,至于大家从研究感悟的结论和应用,非我所能掌控,见仁见智吧。
[摘要] 基于CSSCI的引文数据,以图情类73种期刊为例,将期刊h指数与影响因子、核心期刊排名等进行对比,证实期刊h指数在无干扰情况下是一种性能良好的期刊学术质量衡量指标,它还可以用于对评价机构期刊评价结果的再评价。同时指出它的学术衡量价值难以避免h指数精确注水行为的极大干扰。
[关键词] 期刊h指数 累积影响因子 核心期刊 图情类期刊 h指数精确注水
在赫希(Jorge E.Hirsch)教授2005年提出h指数[1][2]后不久,布劳恩等人[3]即敏锐地意识到h指数思想对期刊评价的意义,把赫希h指数定义中的作者换成了期刊,提出了期刊h指数概念。即如果一个期刊有N篇文献被引,其中h篇被引次数不少于h,其余N-h篇的被引次数均少于h,则该期刊的h指数为h。与赫希定义的h指数不同的还有,期刊h指数是相对于一定时间窗口(比如一年)而言的,并非期刊的整个生命周期。布劳恩等人认为期刊h与期刊影响因子相比有很大优势:它对那些高被引和不被引论文不敏感,因此数值比较稳定;它可以同时衡量期刊的发文数量和质量(被引量)。
土耳其学者Metin Orbay等人[4]也通过对期刊TURK J CHEM在1995-2005年间期刊h指数变化情况的测量,认为该期刊的h指数变化显示该期刊10年间在发表论文数量和质量上的进步。他们认为期刊h指数反映了同行评议的意见,而同行评议又可以很好地反映期刊的学术水平,因此期刊h指数可以用来衡量期刊学术水平。
国内姜春林等人[5]利用CSSCI的引文数据测量了一些国内期刊的h指数和g指数,他们也认为h指数和g指数可以作为期刊学术影响力评价的新指标。受CSSCI数据跨年度合并问题的限制,他们在统计跨年度期刊h指数的时候他们采取了各年度期刊h指数合并的简单处理办法。这种处理办法受各年度进入h核论文变动情况的影响很大,而事实上各年度h核内的文章又是经常变动的,因此有必要采取新的办法重新统计。笔者使用自编程序解决了CSSCI引文数据跨年度合并的问题,对图情领域期刊的h指数进行了实证研究。不仅测量了20种核心期刊的h指数并与其它传统期刊评价指标进行了对比,而且测量了50余种图情类一般期刊的h指数,这些数据对于我们全面了解期刊h指数在图情类期刊评价中的作用会很有帮助。
1 图情类期刊h指数统计
1.1 不同年度期刊h核内文献的差异
笔者认为,不同年度内期刊h核内文献是存在差异的,因此期刊多年累积h指数的测量不能通过分年度h指数的简单累加来实现。表1 为《中国图书馆学报》1998年和1999年高被引文献篇名及频次。
表1 《中国图书馆学报》1998年和1999年高被引文献篇名及频次
序号 |
1998年度被引文献 |
次数 |
序号 |
1999年度被引文献 |
次数 |
1 |
论未来的图书馆及其信息服务 |
8 |
1 |
网络化趋势与图书馆发展观 |
18 |
2 |
走向辉煌而不是消亡——对图书馆未来的探讨 |
8 |
2 |
中国图书馆事业发展战略研究 |
15 |
3 |
走向深入,走向辉煌——近年来文献检索课教学研究现状综述 |
8 |
3 |
图书馆的转型与发展散论 |
11 |
4 |
图书馆与网络信息资源 |
7 |
4 |
图书馆学研究对象的认识过程:兼论资源说 |
11 |
5 |
我国图书馆学情报学期刊引文调查与分析 |
7 |
5 |
图书馆与网络信息资源 |
11 |
6 |
传统模式的转化与图书馆的发展 |
6 |
6 |
论未来的图书馆及其信息服务 |
9 |
7 |
从经验图书馆学到新型图书馆学 |
6 |
7 |
论馆藏建设中的几个关系 |
8 |
8 |
改革开放时期的中国图书馆事业 |
6 |
8 |
面向高速信息网络的信息资源管理(1)——从技术角度的分析 |
8 |
9 |
建立回溯书目数据库方案的分析和探讨 |
6 |
9 |
论图书馆资源共建 |
7 |
我们从表1不难发现1998年的第1条被引文献篇名与1999年的第6条重合,第4条与1999年的第5条重合。由此可见累加分年度期刊h指数以得到期刊多年总h指数的办法与期刊h指数的界定不相符。
1.2 期刊h指数统计过程
计算期刊h指数的关键在于同一作者的同一篇文献在全部统计年度内被引次数合并问题。笔者认为,发表于同一期刊的文献篇名重复的概率极低,核心期刊更是如此,因此可以把同一篇名在所有年度的被引数据进行累加以得到该文献的累计被引,并据此统计期刊h指数。
由于CSSCI提供的被引数据是分年度,且每屏最多只能展示50条记录,无法直接获得某一文献的累计被引数据,所以需要按照被引文献篇名进行聚类并汇总被引数据。笔者所统计数据的时间跨度为1998-2006,数据获取时间为2008年1月-2008年3月。
笔者首先根据被引期刊名称从CSSCI检索到数据;然后使用自制程序[6]提取序号、被引作者、被引文献篇名、被引期刊、被引文献出处、被引次数等有用数据,转换为EXCEL格式,并手工校正不规范数据(如被引次数没有出现在应出现的列);接着按照“被引文献篇名”列对数据进行排序,这样同一文献的被引用信息将相邻分布;提取“被引文献篇名”列和“被引次数”列,使用自制程序进行汇总并按总被引次数降序排列;将获得的数据粘贴在EXCEL文件中,即可直观地根据EXCEL文件的记录行号和累计被引次数的比较得到该期刊的h指数。
2 期刊h指数与其它期刊评价指标的对比研究
2.1 图情类核心期刊
表2对南大版20种图情核心期刊的h指数与其发文量、被引量、累积影响因子等进行了对比。笔者认为,累积影响因子可以涵盖更多期刊所发表文章被认可的信息,它比普遍使用的基于前2年期刊被引数据的影响因子计算方法更能代表期刊较长时期内的平均水平,更符合人们对事物的印象是需要逐渐累积的现实。赵基明等[7]统计中国图书馆学报在1998-2006年的h指数是29,这与本文的研究结果是高度吻合的,佐证了本文研究方法的可靠性。
表2 图情类核心期刊h指数、累积影响因子等指标对比
序号 |
名称 |
H指数 |
发文 |
被引 |
AIF |
RAIF |
Rh |
R |
RAIF-Rh |
RAIF-R |
1 |
中国图书馆学报 |
29 |
1356 |
8399 |
6.193953 |
1 |
1 |
1 |
0 |
0 |
2 |
大学图书馆学报 |
22 |
1613 |
5170 |
3.205208 |
3 |
2 |
2 |
1 |
1 |
3 |
情报学报 |
20 |
1416 |
4773 |
3.370763 |
2 |
3 |
3 |
-1 |
-1 |
4 |
图书情报工作 |
19 |
3587 |
7553 |
2.105659 |
5 |
4 |
4 |
1 |
1 |
5 |
情报理论与实践 |
15 |
1580 |
3589 |
2.271519 |
4 |
6 |
5 |
-2 |
-1 |
6 |
图书情报知识 |
15 |
1505 |
2845 |
1.890365 |
7 |
6 |
6 |
1 |
1 |
7 |
图书馆 |
16 |
1758 |
3575 |
2.033561 |
6 |
5 |
7 |
1 |
-1 |
8 |
现代图书情报技术 |
14 |
2440 |
3310 |
1.356557 |
9 |
7 |
8 |
2 |
1 |
9 |
情报资料工作 |
12 |
2309 |
2579 |
1.116934 |
13 |
9 |
9 |
4 |
4 |
10 |
图书馆建设 |
10 |
2876 |
2534 |
0.881085 |
15 |
11 |
10 |
4 |
5 |
11 |
情报科学 |
13 |
3180 |
3804 |
1.196226 |
12 |
8 |
11 |
4 |
1 |
12 |
图书馆论坛 |
13 |
3198 |
4284 |
1.339587 |
10 |
8 |
12 |
2 |
-2 |
13 |
图书馆杂志 |
15 |
2779 |
3660 |
1.317021 |
11 |
6 |
13 |
5 |
-2 |
14 |
国家图书馆学刊 |
9 |
994 |
626 |
0.629779 |
17 |
12 |
14 |
5 |
3 |
15 |
图书馆工作与研究 |
8 |
1646 |
1783 |
1.083232 |
14 |
13 |
15 |
1 |
-1 |
16 |
情报杂志 |
9 |
4593 |
3585 |
0.780536 |
16 |
12 |
16 |
4 |
0 |
17 |
图书馆学研究 |
7 |
2886 |
1521 |
0.527027 |
18 |
14 |
17 |
4 |
1 |
18 |
图书与情报 |
11 |
1217 |
1666 |
1.36894 |
8 |
10 |
18 |
-2 |
-10 |
19 |
档案学研究 |
4 |
1006 |
363 |
0.360835 |
20 |
16 |
19 |
4 |
1 |
20 |
档案学通讯 |
5 |
1602 |
763 |
0.47628 |
19 |
15 |
20 |
4 |
-1 |
注:发文量和被引量均为各期刊1998-2006年的累积数值,AIF为使用累积被引除以累积发文所得的累积影响因子,Rh为h值排名,R为南京大学公布的图情类核心期刊顺序,可以认为是期刊排名。RAIF-Rh 为累积影响因子与h指数排名的差异,RAIF-R为累积影响因子与南大版排名的差异。
从表2 RAIF-Rh和RAIF-R的对比数值可以看出,按h值大小进行的排名与累积影响因子排名的拟合度很好,没有出现特别大的偏差,二者的偏离度为1-5,可见使用期刊h指数可以较好地衡量期刊较长时期内的质量。但也有个别期刊的南大版排名与累积影响因子排名的偏离度却较大,如《图书与情报》的偏离度竟高达10,这可能意味着南大版图情类核心期刊排名在某种程度上低估了《图书与情报》的学术价值。
2.2 图情类全部期刊h指数分布
表3给出了73种图情期刊的h指数和相应的h指数排名。笔者据此对其被南大版核心期刊收录情况进行了比对,按期刊h指数排名的前20种期刊除《图书馆理论与实践》与《四川图书馆学报》外,全部进入南大版核心期刊目录,h指数排名相对靠前的《图书馆理论与实践》、《四川图书馆学报》、《高校图书馆工作》和《新世纪图书馆》也都进入了CSSCI扩展版来源期刊目录。由此可见,期刊h指数可以很好地表征期刊的学术质量,有望成为一种新的期刊评价标准。
表3 图情类期刊h指数分布
序号 |
期刊名称 |
h指数 |
序号 |
期刊名称 |
h指数 |
序号 |
期刊名称 |
h指数 |
1 |
中国图书馆学报 |
29 |
26 |
档案学通讯 |
5 |
51 |
图书情报论坛 |
3 |
2 |
大学图书馆学报 |
22 |
27 |
新世纪图书馆 |
5 |
52 |
图书情报通讯 |
3 |
3 |
情报学报 |
20 |
28 |
河南图书馆学刊 |
5 |
53 |
中国档案 |
2 |
4 |
图书情报工作 |
19 |
29 |
晋图学刊 |
5 |
54 |
档案管理 |
2 |
5 |
图书馆 |
16 |
30 |
图书情报工作动态 |
5 |
55 |
古籍整理研究学刊 |
2 |
6 |
图书情报知识 |
15 |
31 |
档案学研究 |
5 |
56 |
档案 |
2 |
7 |
图书馆杂志 |
15 |
32 |
大学图书情报学刊 |
5 |
57 |
上海档案 |
2 |
8 |
情报理论与实践 |
15 |
33 |
情报探索 |
4 |
58 |
四川档案 |
2 |
9 |
现代图书情报技术 |
14 |
34 |
民国档案 |
4 |
59 |
档案天地 |
2 |
10 |
图书馆论坛 |
13 |
35 |
科技情报开发与经济 |
4 |
60 |
档案时空 |
2 |
11 |
情报科学 |
13 |
36 |
农业图书情报学刊 |
4 |
61 |
图书馆研究与工作 |
2 |
12 |
情报资料工作 |
12 |
37 |
山东图书馆季刊 |
4 |
62 |
图书馆论丛 |
2 |
13 |
图书与情报 |
11 |
38 |
文献 |
4 |
63 |
上海高校图书情报工作研究 |
2 |
14 |
图书馆建设 |
10 |
39 |
河北科技图苑 |
4 |
64 |
数字图书馆论坛 |
2 |
15 |
情报杂志 |
9 |
40 |
中华医学图书情报杂志 |
4 |
65 |
浙江高校图书情报工作 |
2 |
16 |
图书馆理论与实践 |
9 |
41 |
图书馆界 |
3 |
66 |
当代图书馆 |
2 |
17 |
国家图书馆学刊 |
9 |
42 |
江西图书馆学刊 |
3 |
67 |
山东档案 |
1 |
18 |
图书馆工作与研究 |
8 |
43 |
浙江档案 |
3 |
68 |
湖北档案 |
1 |
19 |
四川图书馆学报 |
8 |
44 |
医学情报工作 |
3 |
69 |
陕西档案 |
1 |
20 |
图书馆学研究 |
7 |
45 |
山西档案 |
3 |
70 |
云南档案 |
1 |
21 |
高校图书馆工作 |
7 |
46 |
北京档案 |
3 |
71 |
机电兵船档案 |
1 |
22 |
中国信息导报 |
7 |
47 |
档案与建设 |
3 |
72 |
广州档案 |
1 |
23 |
津图学刊 |
7 |
48 |
兰台世界 |
3 |
73 |
航空档案 |
1 |
24 |
图书馆学刊 |
6 |
49 |
图书馆工作 |
3 |
|
|
|
25 |
现代情报 |
6 |
50 |
档案与史学 |
3 |
|
|
|
3 期刊h指数的缺陷
关于自引问题的争论自从引文分析法问世以来就不曾停止,基于引文的期刊h指数自然也难以回避这个问题。期刊自引是指施引文献和被引文献的发文期刊为同一期刊的引用;作者自引是指施引文献作者列表中含有被引文献第一作者(无论其排名次序如何)的广义的自引。表4列出了20种核心期刊排除期刊自引和作者自引前后的h指数以及前后h指数差值。从表4我们可以看出作者自引对期刊h指数影响不大,但期刊自引对期刊h指数的影响较大。对于其余的53种期刊来说,由于其并非CSSCI来源期刊,其自引信息并未进入数据库,因此自引问题并不影响前文所统计的h指数。笔者还对53种期刊中曾入选过CSSCI的个别期刊进行了分析,发现其自引数据对该刊的h指数并无影响。
表4 排除自引前后期刊h指数比较
序号 |
名称 |
包括自引 |
排除期刊自引 |
期刊自引差异 |
排除作者自引 |
作者自引差异 |
1 |
中国图书馆学报 |
29 |
27 |
2 |
28 |
1 |
2 |
大学图书馆学报 |
22 |
21 |
1 |
21 |
1 |
3 |
情报学报 |
20 |
19 |
1 |
20 |
0 |
4 |
图书情报工作 |
19 |
17 |
2 |
19 |
0 |
5 |
情报理论与实践 |
15 |
13 |
2 |
15 |
0 |
6 |
图书情报知识 |
15 |
14 |
1 |
15 |
0 |
7 |
图书馆 |
16 |
14 |
2 |
15 |
1 |
8 |
现代图书情报技术 |
14 |
13 |
1 |
14 |
0 |
9 |
情报资料工作 |
12 |
12 |
0 |
12 |
0 |
10 |
图书馆建设 |
10 |
10 |
0 |
10 |
0 |
11 |
情报科学 |
13 |
11 |
2 |
12 |
1 |
12 |
图书馆论坛 |
13 |
9 |
4 |
12 |
1 |
13 |
图书馆杂志 |
15 |
13 |
2 |
13 |
2 |
14 |
国家图书馆学刊 |
9 |
9 |
0 |
9 |
0 |
15 |
图书馆工作与研究 |
8 |
7 |
1 |
8 |
0 |
16 |
情报杂志 |
9 |
7 |
2 |
9 |
0 |
17 |
图书馆学研究 |
7 |
7 |
0 |
7 |
0 |
18 |
图书与情报 |
11 |
11 |
0 |
11 |
0 |
19 |
档案学研究 |
4 |
4 |
0 |
4 |
0 |
20 |
档案学通讯 |
5 |
3 |
2 |
5 |
0 |
虽然一定程度的作者自引和期刊自引是必要而合理的,但在引文成为重要学术评价指标后,自引已经在某种程度上导致引文行为偏离了常态。以CSSCI为例,该引文数据库目前已成为我国高校文科评聘职称、考评绩效等的主要论文统计源,于是一些期刊为了使自己保留在CSSCI 来源刊中大量自引。苏新宁等[8]通过对2004-2005年期刊自引率的统计,认为CSSCI来源期刊的自引问题非常严重,其中自引率达25%以上的期刊有100多种。如果CSSCI采取美国SSCI拒收自引率超过20%之期刊的标准,将有1/4左右的来源期刊被请出。为规避自引率过高给刊物本身带来的种种不利,某些期刊之间采取隐蔽的互惠引用和协议引用等手段,以达到“共同提高”之目的。
笔者曾指出h指数计算方法存在着可以被别有用心的作弊者精确注水的严重缺陷[9],期刊h指数也存在同样的问题。所谓h指数精确注水是指作弊者对位于h指数增长关键点附近的论文施加引用,以达到用最少的引用最快地提升h指数的目的。换言之,h指数精确注水通过有意识地操控引文数据的分布来“优化”引文数据对h指数评价的影响,是将引用优先施加在特定论文上的行为。如果引文数据被有意识地施加到特定的文章上,期刊h指数即可发生较大变化。如果期刊h指数成为期刊能否进入核心期刊的重要因素,期刊自引、作者自引、期刊互引等行为都有可能被隐蔽地用于期刊h指数注水。我们要对期刊h指数的这一缺陷给予足够的重视。
4 结论
本文对图书、情报、文献类七十三种期刊的h指数进行了实证研究,并将各核心期刊的h指数排名与其累积影响因子排名及其在南大版核心期刊目录中的地位进行了对比,认为在自然状态下期刊h指数可以作为一种很好的期刊学术质量评价指标,它不仅可以客观地衡量期刊多年累积的学术声誉,而且可以用于对期刊评价机构的研究成果进行再评价。但如果被实施h指数精确注水,不仅会使期刊h指数作为学术成果衡量指标的价值大大降低,而且会导致引文数据库因充斥虚假数据而价值大打折扣。如何预防类似的引文异化行为值得展开深入研究。
参考文献
1 Hirsch J.衡量科学家个人成就的一个量化指标[J].科学观察,2006(1):02-07
2 Hirsch J. An index to quantify an individual's scientific research output. Proceedings of the
3 Braun T,Glanzel W,Schubert A.A Hirsch-type index for journals.The Scientist,2005,19(22):8-10
4 Metin Orbay et al.What does Hirsch index evolution explain us?A case study:Turkish Journal of Chemistry[EB].[
5 姜春林,刘则渊,梁永霞.H指数和G指数——期刊学术影响力评价的新指标[J].图书情报工作,2006(12):63-65
6 周春雷,王伟军,成江东.CNKI输出文件在文献计量中的应用[J].图书情报工作,2007(7):124-126
7 赵基明,舒明全.基于CSSCI的《中国图书馆学报》h指数及核心作者测定[J]. 中国图书馆学报,2008(2):98-102
8 苏新宁,邹志仁.从CSSCI看我国人文社会科学研究[J].江苏社会科学,2008(2) :231-237
9周春雷.h指数的潜在缺陷——h指数精确注水问题研究[J]. 图书情报工作,2008(8):112-114
* 作者简介:周春雷,男,1977年生,系统分析师,讲师,武汉大学科学评价研究中心博士生;苏金燕,女,1979年生,武汉大学科学评价研究中心博士生;罗力,男,1982年生,武汉大学科学评价研究中心博士生。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-24 02:09
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社