博文
读研秘技十九：兼听则明的评审与回复
精选
||
多数论文在提交期刊和会议后，会经历一轮同行评议 (peer-review)。有些会议会在评审完后，直接给出接收与否的结论，而更多的情况则会给一轮rebuttal（会议）或允许作者多次response（期刊）的机会。
那么，为什么要有同行评议呢？它有哪些利弊呢？如何回复呢？
为什么需要有同行评议呢？
首先，现今的研究方向已经非常细化。而科研人员在选择研究课题时，并不见得会始终只选择自己做得滚瓜烂熟的方向，总需要突破自己的舒适圈。在这种情况下，对新方向的认识存在片面性，甚至认识错误的概率就高得多。因此，为了更好地完善自己的研究成果，而不是为了论文而写论文，就更需要有熟悉这一方向的同行来帮助准确客观地评估论文的价值。所谓之，兼听则明，偏信则暗。
其次，和其他作者一样，导师也是人，不是神仙。是人就不可能不犯错，即使论文撰写时逻辑做得再完美，实验做得再完整，百密总有一疏。
第三，初出茅庐的学生，由于见不多识不广的原因，容易为自己的一些“新”创新激动 不已，甚至有可能会觉得是项惊天骇俗的成果。此时，光靠导师泼冷水已经浇不灭了。还有一种相对比较少的情况，即导师对学生成果的可信度缺乏足够把握时。关于这两种情况，都值得通过同行评议来给中肯的建议和获得更可靠的判断。
同行评议的弊端
但也需要注意的是，论文同行评议的的弊端也不是没有。
以人工智能领域的会议来说，近年来投稿量巨增，导致很难找评审。比如一个会议投稿5000篇，每篇文章需要3个评审，也就是15000次的审稿数量，假定每个评审能审6篇论文，那就需要2500个评审。要找到与论文档次和数量相当的、认真负责又刚好有时间空档来做这个义务审稿的评审，难度极其大。所以，今年人工智能顶会IJCAI通过SPC的快速拒稿机制（summary reject），先拒掉近40%的论文也不就奇怪了。即便如此，还剩下3000多篇要分配给匿名评审来审稿。
当论文投稿数量巨增时，评审的随机性、是否认真审稿、甚至“看不见”的小圈子都可能影响论文的接收。不仅如此，近年来过分关注论文指标引发的急功近利之心，也有可能导致对已发表论文的实质贡献大打折扣。
所以，为表明公正性，有些会议干脆公开评审的内容，如ICLR (International Conference on Learning Representation) 采用的是网上公开评审意见的方式。但是，仍然无法让所有人都满意，时不时也还是会有人置疑评审的公正性或判断的合理性。
期刊在选择评审这一块也存在一些不足。比如当主编分配给编委与其研究方向差距甚远的论文时，编委就有相当的困难找到合适的评审。有名气的一般没时间审，没名的又得担心其不懂套路，一通乱审，评审意见毫无意义。由于是义务审稿，还有些评审对审稿的邀请和截止时间熟视无睹，导致论文的审稿周期无形中被延长。
所以，在线发表论文的网站如arXiv、bioRxiv也就应运而生。但缺乏同行评议的工作，并不是所有人都认可这些成果的有效性。比如有些文章纯粹是为了占坑而抢先发arXiV，根本就没对论文实验的可信度作认真检查。这种情况下发表的论文， 如果未被引用或被比较，评审也不会太在意。毕竟其结果没有经过同行评议，无法验证真伪。
因此，总体来看，有同行评议的论文相对而言，更有含金量。那么，如何通过同行评议来提升论文的质量呢？另外，如何能够更好的回复评审提出的问题呢？所谓知已知彼，百战不殆。那么，我们先看看评审会怎么审稿呢？
实际上，在之前的几节里，我已经就论文可能存在的各种问题做了分析和说明。如果都能做到，留给评审的漏洞应该就很少。
评审的小李飞刀与温柔一刀
从评审角度来看，当他认为论文存在较大问题，往往会考虑以下理由。
1）缺乏近三年最新算法的实验比较。此问题，在国内的很多投稿文章中见得比较多。回复这一问题往往需要相当长的时间准备，因为要重做实验。如果是期刊，一般会是大修。会议，则有可能直接被拒了。
2）缺乏对重要文章的引用和综述。 此问题相对好解决，按评审要求补全即可。但如果评审的态度是认为你的工作与这些文章有雷同性，或以为的创新性实际上都被这些文章做掉了。那文章被拒的概率就比较高了。这需要作者非常认真和仔细地把两者的区别找出来，通过理论分析和实验来证明文章的创新是真实可信的。
3）方法存在关键性漏洞。评审可能认为创新是通过牺牲某些关键指标获得的，而这一代价可能并不值得。如把某一算法的计算效率显著提升了，但预测性能却因此而毫无亮点。再比如，理论性的证明，获得某个漂亮的上界或下界，但该界中的某个参数可能导致整个界没有任何实际指导意义。或者说，证明中出现了低级失误，导致整篇文章结论不成立。那这些问题被评审发现的话，可能就是小李飞刀，例不虚发了。
4）缺乏洞察力，论文有记流水帐的嫌疑。这类问题在综述性的文章比较常见。综述文章不好写，需要给读者有比较多的启示和建议才行。如果只是记流水帐，看不到作者深层次的思考。这类文章大概率是被拒的。
5）重大学术问题。这类问题容易被秒拒。比如要求匿名投稿的会议，论文里作者姓名、单位都放上去了；论文一稿多投了；论文中存在对其它已发表论文的文字、图表、甚至方法上的抄袭且不引用； 还有论文在扩增内容投稿时不说明有发表过的前文、不引用前文，不与前文的内容进行比较等。即使评审看走眼，放过去了。这也可能成为作者学术生涯的不定时炸弹。需要平时把学术诚信修练好，以避免这类问题的出现。
除了以上的问题外，评审有时也会提些无关痛痒的问题。比如语言表述问题、少量的打字错误、图表画得比较丑或不规范、引用格式一致性问题、排版问题等。这些问题没有触及论文的关键性不足，通常都好解决。
但需要提醒的是，如果一开始就不认真写，连办公软件都能发现的低级错误，在提交的论文里还存在着，那评审可能一开始就不想跟你玩了。他是要花时间认真评审的，而你连这起码的认真态度都没有，凭什么要让评审再认真呢？所以，不管是中文还是英文文章，投稿之前务必不要出现这类低级错误，以免浪费自己的科研成果和等待评审的时间。
另外，评审有时候会要求作者找Native Speaker进行润色。这个要求对于国内学者和学生来说，会提得多一些，但一般不会成为拒稿的理由。因此，认真修改后，评审也不会特别上火。毕竟，你没有几十年的英文阅读沉淀，想写出如小说般的行文和用词，基本上是不可能的。
回复规范
当作者提交修改版时，评审最不希望看到的情形是什么样的呢？
最不希望看到的是，作者在提交修改版时，直接改了论文，既不标注哪里改了，也不同时提交告知回答了哪些问题的response或rebuttal文件。结果，评审得耗费大量的时间从正文中去找，哪些问过的问题改了，哪些没改。
想想多数评审本就是义务工作，而评审们都需要有自己的时间来做研究、指导学生的。作者这么一弄，相当于把评审的时间又多挤占了一些。所以，作者们一定请尊重评审的工作，多给评审一些方便，也就等于给自己多了一些方便。
致谢
在回复评审意见时，需要注意两点，第一，尽量不要回怼，即使是你认为质疑不一定合理。毕竟他是审你稿的人，你骂他对你没有好处。第二，有可能确实是论文在表达上存在歧义，导致评审产生了理解偏差。此时，最好先指出可能是表达引起的误会，再解释你工作的合理性。另外，也应该简单的表示下感谢。感谢往往出现在response或rebuttal的开头，而期刊论文有时候会在结论这一节后再多出个致谢小节来专门感谢评审的工作。
回复小技巧
在写回复信的时候，需要先感谢评审，并强调针对本文提出的若干问题或建议，均已经回复。
然后在回答时，对评审的意见进行梳理，将每个评审的意见一条一条列出，按Q1/A1的形式来组织回答。同时应该保证同步性。即在response里回复的内容都应完整的体现在正文中。当然，如果修改内容不多时，也可以直接改正文，再根据修改意见来撰写回复。
这里需要切记的是，一定要认真且逐条回复完毕。而如果不认真回答和逃避对核心问题的回答，有些较真的评审可能会因为你没有回答他的全部问题，而私下向编委吐槽。那么可能的结果是，要么编委会另外再找评审，要么编委会根据这一吐槽直接拒掉你的稿件。这样的结局就是你白白浪费了自己的时间。
评审间的讨论
期刊往往缺乏评审间的讨论，但在回复时，是能相互看到评审的意见的，因此多少会受其他评审意见的影响。
而有些会议则允许讨论，有时会由SPC来主导，尤其是当评审们给出的推荐意见不一致时，讨论的作用就很大。通常来说，讨论会偏向意见给得多、证据给得足且对论文研究方向更懂行的评审，其他评审很有可能会根据他的意见来调整自己的分数或推荐意见，最终达成一致。在无法调和的时候，则更高一级的如SPC有可能会再邀请一位评审来帮助形成决定。
所以，作者在回答问题，一定要重点回答好那个问题提得最为尖锐的评审的意见，同时，也得回答好温和评审的意见。态度好，说不定还能从温和的评审那里获得支持。
总之，论文的回复是改善论文的重要环节，它能帮助我们发现一些未曾看到的不足。同时也要记住， 一定要学会正面回应评审提出的问题，而不是顾左右而言他。这也可以算作是论文写作过程的一个副产品，即顺便培养了积极向上、勇于面对困难的生活态度。
张军平
2020年3月5日
延续阅读：
18. 读研秘技十八：完美主义的排版
16. 读研秘技十六：完备的实验
13. 读研秘技十三：引人入胜的开场白
12. 读研秘技十二：重灾区的论文摘要
11. 读研秘技十一：论文的选题与选题目
7. 读研秘技七：高徒出名师
张军平，复旦大学计算机科学技术学院，教授、博士生导师，中国自动化学会混合智能专委会副主任。主要研究方向包括人工智能、机器学习、图像处理、生物认证及智能交通。至今发表论文近100篇，其中IEEE Transactions系列21篇，包括IEEE TPAMI, TNNLS, ToC, TITS, TAC, TIP等。学术谷歌引用3600余次，ESI高被引一篇，H指数30。
出版科普著作《爱犯错的智能体》，曾连续24次推荐至科学网头条，曾五次进入京东科普读物新书榜前三名。关于人工智能发展趋势的观点曾被《国家治理》周刊、《瞭望》、《科技日报》、《中国科学报》等媒体多次报道。连载的《读研秘技》至今被科学网推荐头条17次。
https://blog.sciencenet.cn/blog-3389532-1221875.html
上一篇：读研秘技十八：完美主义的排版
下一篇：我的三周网络授课经验分享（两篇）
