再介绍一篇关于审稿的研究论文

武夷山

 

Bulletin of Science, technology and Society （科学、技术与社会通讯）杂志2006年第3期发表美国圣母大学Robert P. Vecchio的文章，”Journal Reviewer Ratings: Issues of Particularistic Bias, Agreement, and Predictive Validity within the Manuscript Review Process（期刊评审者打分：审稿过程中的特定偏见、审稿一致性和预测有效性等问题）。文章说：

 

实证研究发现，尽管采取双盲评审方式，但是多数评审者能猜出稿件的来源 （在某项研究中，猜对率高达72％），而评审者对自己猜对的自信心却很低。

（博主插话：评审最好找小同行，而不是大同行，因为大同行很可能不懂行。而对于小同行，双盲时常就变成了单盲。我在多次审稿和审查基金项目申请书的过程中，一看文章的主题或项目的选题就知道作者或申请者是谁了。因此，如果审查者品行有问题，而且审查者恰好又与作者或申请者有过节，那单盲的那一方就惨了。）

这项研究以Journal of Management在1995年7月和1997年7月收到的853篇来稿作为样本。研究发现，这些来稿中，有114篇未送外审就被毙了，送审了739篇。在1478位审稿人（每篇稿件请两位专家审）中，有1477人是拥有博士学位的教授。其中女性只占25.1%。739篇稿件中，有81.6%被外审专家毙掉。

外审专家对稿件是按5分制评分的。在这项研究中，若两位评审者的打分上下不超过1分，则算两人意见一致。结果发现，审查意见一致度高达81.1％。

博主认为，本项研究最有意思的发现是：这些文章日后的被引用次数与评审者当初的评分不相关。也就是说，两位评审者认为是好文章的，日后不一定高被引；反之亦然。

（博主插话：这一点，我觉得毫不奇怪。我自我评价较高的论文，很少获得高被引；我的某些论文为什么获得相对较多的引用，我都感到莫名其妙，因为自己不觉得是上乘文章。）

研究还发现，评审者的评分并未受以下因素的影响：文章的作者人数多寡；作者是否美国人；作者所在机构是否出名；作者所在机构是否有资格培养博士生。

 

相关阅读：一家英国管理学杂志如何审稿，http://www.sciencenet.cn/m/user_content.aspx?id=375754。

 

 

转载本文请联系原作者获取授权，同时请注明本文来自武夷山科学网博客。
链接地址：https://blog.sciencenet.cn/blog-1557-379829.html

上一篇：[转载]中医医疗设备必须具备象思维
下一篇：乌利希期刊指南的科学计量学应用初探