||
再介绍一篇关于审稿的研究论文
武夷山
Bulletin of Science, technology and Society (科学、技术与社会通讯)杂志2006年第3期发表美国圣母大学Robert P. Vecchio的文章,”Journal Reviewer Ratings: Issues of Particularistic Bias, Agreement, and Predictive Validity within the Manuscript Review Process(期刊评审者打分:审稿过程中的特定偏见、审稿一致性和预测有效性等问题)。文章说:
实证研究发现,尽管采取双盲评审方式,但是多数评审者能猜出稿件的来源 (在某项研究中,猜对率高达72%),而评审者对自己猜对的自信心却很低。
(博主插话:评审最好找小同行,而不是大同行,因为大同行很可能不懂行。而对于小同行,双盲时常就变成了单盲。我在多次审稿和审查基金项目申请书的过程中,一看文章的主题或项目的选题就知道作者或申请者是谁了。因此,如果审查者品行有问题,而且审查者恰好又与作者或申请者有过节,那单盲的那一方就惨了。)
这项研究以Journal of Management在1995年7月和1997年7月收到的853篇来稿作为样本。研究发现,这些来稿中,有114篇未送外审就被毙了,送审了739篇。在1478位审稿人(每篇稿件请两位专家审)中,有1477人是拥有博士学位的教授。其中女性只占25.1%。739篇稿件中,有81.6%被外审专家毙掉。
外审专家对稿件是按5分制评分的。在这项研究中,若两位评审者的打分上下不超过1分,则算两人意见一致。结果发现,审查意见一致度高达81.1%。
博主认为,本项研究最有意思的发现是:这些文章日后的被引用次数与评审者当初的评分不相关。也就是说,两位评审者认为是好文章的,日后不一定高被引;反之亦然。
(博主插话:这一点,我觉得毫不奇怪。我自我评价较高的论文,很少获得高被引;我的某些论文为什么获得相对较多的引用,我都感到莫名其妙,因为自己不觉得是上乘文章。)
研究还发现,评审者的评分并未受以下因素的影响:文章的作者人数多寡;作者是否美国人;作者所在机构是否出名;作者所在机构是否有资格培养博士生。
相关阅读:一家英国管理学杂志如何审稿,http://www.sciencenet.cn/m/user_content.aspx?id=375754。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-7-18 16:17
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社