路漫漫其修远兮分享 http://blog.sciencenet.cn/u/zhpd55 追求科学,勇于探索,苦海无涯,愿作小舟。

博文

同行评论有用吗? 精选

已有 5463 次阅读 2013-10-16 17:13 |个人分类:科技期刊研究|系统分类:博客资讯|关键词:同行评议,影响因子,被引频次,成果评价| 影响因子, 被引频次, 同行评议, 成果评价

同行评论有用吗?

诸平

科学家》(The Scientist)杂志20131015报道,许多科学出版物都会通过发表后同行评议、发表论文的被引频次以及期刊影响因子来定期进行评价。但2013108,位于英国布莱顿(Brighton)的萨塞克斯大学(University of Sussex)生命科学学院的亚当·艾尔-沃克Adam Eyre-Walker)教授与德国汉诺威(Hannover, Germany)的妮娜·斯托莱茨基(Nina Stoletzki)合作在《公共科学图书馆·生物学》(PLoS Biology)杂志上发表了他们的研究论文——The Assessment of Science: The Relative Merits of Post-Publication Review, the Impact Factor, and the Numberof Citations

他们研究发现论文发表后同行评论、被引频次以及影响因子这些并不能很好地来衡量科学研究成果(论文)的价值。亚当·艾尔-沃克教授作为论文的第一作者,在萨塞克斯大学网站的新闻报道(Scientists ‘bad atjudging peers’ published work,’ says new study Are scientists any good at judging the importance of the scientificwork of others?)中就明确指出:“科学家们可能是最好的科学论文评审员,但是他们对于科学论文的评判结果很糟糕(Scientists are probably the best judges of science, but they arepretty bad at it.)。 

亚当·艾尔-沃克和妮娜·斯托莱茨基分析了来自发表后同行评审的千人(F1000)数据库2005年发表的5811篇论文,其中1328篇论文是由不止一个评审员进行评审的;还有来自发表后进行同行评审的维康信托基金会(Wellcome Trust)数据库的716篇论文,其中每一篇论文均由2位评审员进行过评议,均系发表于2005年。这两个数据库都是采用评审员基于对论文质量的判断然后进行主观赋分。亚当·艾尔-沃克和妮娜·斯托莱茨基预计论文价值相似的将得分相近,但是他们发现评论者对所指定的论文,赋分值相等的大约有一半,仅有少量的评审结果得分偶尔略高于预期值。研究还发现在这些期刊上发表的论文对期刊影响因子的贡献与评审者对评审论文的价值赋分二者之间呈现出很强的相关性。

作者在论文中谈到:“总的来说,似乎科学的主观评估很差,他们彼此之间没有什么关联;但是,如果被评审的论文在这些期刊发表,他们仿佛对期刊会产生强烈影响,因为在排名靠前的期刊发表的论文得分会高于其真正的内在价值

亚当·艾尔-沃克和妮娜·斯托莱茨基还发现,一篇论文的被引频次积累主要是随机的,虽然在高影响因子期刊上发表的论文有被引用频次高的可能性,但是并非每一篇发表在高影响因子期刊上的论文都会有更高的被引频次,引用少,甚至无人问津的论文也不是没有。

情况的确如此我本人以Scopus®数据库检索到影响因子最高的Ca-A Cancer Journal for Clinicians为例,2012IF(Cites / Doc. 2years)=106.132009-2011年未引用文献比例为35.6%,即有42篇论文未引用过;另外以SJR(类似于IF)最高的期刊Reviews of Modern Physics为例,2012SJR=39.439, 2009-2011年未引用文献比例为5.3%,即也有9篇论文未被引用过。下面是这两种期刊的IFSJR以及未被引文献的变化情况。

 因此,亚当·艾尔-沃克和妮娜·斯托莱茨基他们的研究结果暗示,因为不同的审稿人对于同一篇论文的价值通常会有不同的评价结果,期刊的影响因子也是一种评判一篇论文前后矛盾的方法。尽管如此,他们认为影响因子或许是基于其透明度的3个评价措施中最不容易出错的一种。

研究人员看到的3种评议方法:其一是同行评审:主观的发表后同行评议,其他科学家给出他们对已经发表作品的评审意见;其二是被引用次数:一篇论文的被引用次数是某一篇论文得到其他论文认可引用的一个公认的信息来源;其三是影响因子:这是衡量一种期刊的重要评价指标之一,由被其他科学论文引用某一期刊发表论文的篇均被引次数所决定。

作者的研究结果表明一种科学出版物的重要性让科学家来评判是不可靠的:他们很少对于一篇特定论文的重要性达成共识,而往往会深受论文在何处发表的强烈影响,实际上就是以刊论文,在知名度高的期刊上发表的论文自然会达到过高评价。此外,作者表明一篇论文发表后被其他科学家提及的次数,与其科学价值的关系不甚密切。作者认为,这项研究的发现可能对科学产出的任何未来评估产生重大影响,如英国当前正在进行的政府即将推出的杰出研究框架(Research Excellence FrameworkREF)等。

领导这项研究的艾尔-沃克教授说:“在此提及的科学价值的三种评议方法都不怎么样,特别是主观评估容易出错、有偏见、而且评估绩效也是一种昂贵的方法。

加州大学戴维斯分校(University of California Davis)的乔纳森·埃辛(Jonathan Eisen)和他的同事认为,对其进行深入研究是重要的,有两个原因:它(IF)不仅是最早提供了一种研究可靠性评估的定量评价方法,而且也引发我们对目前如何评估科学研究成果以及我们在未来应该怎样评估科学研究成果的一些根本性问题的思考。更多信息请浏览原文—The Assessment of Science: The Relative Merits of Post-Publication Review, the Impact Factor, and the Number of Citations

相关博文请浏览:http://blog.sciencenet.cn/home.php?mod=space&uid=39731&do=blog&id=219983 




http://blog.sciencenet.cn/blog-212210-733484.html

上一篇:陆埮院士论吴健雄
下一篇:最新一期Drug Discovery Today,免费浏览

8 武夷山 曹聪 赵斌 李东风 高友鹤 任胜利 赵大良 陈辉

该博文允许注册用户评论 请点击登录 评论 (7 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-1-24 08:05

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部