导语：近日，AI领域诸多顶级学术会议相继召开，各类会议期刊的论文的审阅标准也再度成为社区讨论的焦点。在本文中，美国罗切斯特大学罗杰波教授分享了他自己对如何做好审稿人的一些经验和建议。
如何客观地审阅AI领域的论文，以及如何确保审阅出来的论文足够公正并使论文作者没有异议呢？对于这个话题，每个研究者想必都有自己的理念和方法。
在近期举办的视觉与学习青年学者研讨会（VALSE Webinar）上，IEEE多媒体汇刊TMM总编、CVPR 2012程序委员会主席、美国罗切斯特大学计算机科学系教授罗杰波分享了《如何做一个AI领域审稿人》的主题报告。
VALSE感谢《机器之心》对此报告主要内容的整理。
首先，罗杰波教授分析了当前学术会议在审稿方面的一些普遍现象，表现在三个方面：
首先，AI领域目前正在爆炸性地发展，许多会议的论文提交量都接近一万篇，因此需要大量的审稿人。如果一个会议有7000篇提交论文，每篇论文需要写3个reviews，假设每个审稿人平均能够写7个reviews，那么将需要3000个审稿人。
其次，在审稿人需求量剧增的形势下，许多新的经验不足的审稿人就加入到这个行列中，包括博士生、硕士生、本科生以及其他领域的研究人员。这也造成了一些问题，比如审稿人缺乏系统的训练，往往都是从个人经验中进行“无监督学习”，而个人经验（往往是不愉快的论文被拒的经验）与优秀的系统经验相差甚远。
最后，有些研究者对好的reviews印象不深，对不好的reviews却耿耿于怀且如法炮制。这就造成了社区中公认的一个问题：冤冤相报何时了。而一个领域的健康发展在很大程度上都依赖于高质量的同行评审。
针对学术会议存在的这些审稿问题，罗杰波教授首先列出了一些有经验的研究者，并介绍了他们对于review质量的见解。同时，罗杰波教授也给出了他对提高评审质量的建议，包括以下六个方面： | _ |
己所不欲，勿施于人； | | _ |
社区是由每一个人组成的； | | _ |
寻找接收论文的理由； | | _ | | | _ | |
如果你不熟悉该领域要怎么办
接下来，我们具体来看这几方面内容。
一、审稿人应负起责任，维护社区学术环境
罗杰波教授强调了社区的重要作用，指出审稿人应该遵循的一些理念。
我们都需要保护而不是破坏社区的学术环境，因为每个人都身在其中。你如何对待别人，别人就会如何对待你。维护良好的社区氛围需要每一位成员的共同努力。对于审稿人来说，要及时回复。迟交或不交的review会伤害所有参与的人，当然也包括你自己（因为别人也会如此对待你的论文）。
另外，审稿人要负起责任。如果时间和精力允许，资深研究人员应该审查学生做的reviews。
就论文本身而言，审稿人应做到以下两个方面：
其一，不要强迫投稿者引用你自己的论文（如果无关的话）。请勿遗漏重要的引用资料（不夹带私货，但也要杜绝恶意不引用），还要指出抄袭/重复提交的情况。
其二，不要强迫作者引用未发表的论文（比如arXiv），这是因为未发表的论文没有经过同行评审。另外未发表的论文中可能包含一些错误和虚假的信息（有些可能是恶意的， 比如占坑或误导）。
二、审稿人应坚持哪些原则？
罗杰波教授分析了审稿人在审稿过程中应秉持的7大原则，只要这样才能力求审稿的客观公正。
首先，准时提交审稿意见，这是审稿人所应具备的基本素养。迟交在期刊更为严重（会议有审稿deadline）。然后在审稿过程中，一定要花费足够的时间来理解论文。对于没有充分阅读并理解论文即给出评审意见的审稿人，想必投稿人会疯吧。还有，提出的评审意见要有建设性。
另外，审稿时要着眼于论文整体思路和创新之处，不要以一些细枝末节、无关紧要的借口来拒稿。更不要轻易地下结论，武断地称论文缺乏/没有创新之处，或者实验不充分。
最后，不要强迫投稿人做大量的新实验。还有值得关注的一点是，审稿人要保持开放的学术态度，听取其他审稿人的意见，认真对待作者花了大量心血的rebuttal。
三、审慎对待论文创新、性能
接着，罗杰波教授指出，审稿人通常基于以下几个方面来决定是否接收论文：论文是否有创新、性能如何、论文新颖的同时是否存在缺陷、论文的实际效用等。但是，这些标准本身是否必须遵循，能不能有所变通呢？他就这些问题展开了具体分析。
四、正确对待论文的创新
罗教授首先抛出了一个问题：论文的创新是否一定成为接收或拒稿的唯一标准？
他表示，「审稿人当然不想看到一味重复、毫无创新点的论文，但需记住：很少有论文是真正、完全创新的。」有些好论文要么是计算机视觉领域框架创新（比如MRF， Alex net， GAN），要么是算法创新或其他科研领域的思路、方法迁移（比如ResNet）。此外，还有些好论文是将已知方法的巧妙工程实现（比如SIFT， VGG），以及已知技术的全新应用等。
所以，正确意义上的创新按降序应包括：其他研究者未曾提过的新问题、已知问题的新的技术解决方案、更好的分析和理解、以及更佳的实验结果等。
罗杰波教授列举出了他所理解的论文创新的等级，指出在计算机视觉文献中，基于已知组件进行别出心裁的工程应用本身就很少见了，重大的扩展、算法的创新以及计算机视觉领域的新概念就更加罕见了，那么对世界上所有人来说都是全新的概念就从来没有出现过了。
相反，计算机视觉文献中频繁出现的只是有用的小更新、新任务的应用、以及原有方法的改进和相关评估基准的建立等。
所以，审稿人在给评审意见时，最好不要轻易地以「创新不足」为由拒稿。
五、不要痴迷于性能
除了要审慎对待论文的创新之外，罗杰波教授还分析了论文种的性能问题。他表示，「任务新事物的出现都不是完善的，可能并没有达到别人的标准，但也许用了更少的样本，计算的速度或许比别人快，所以虽然现在没有达到SOTA，并不代表以后不会。」一只没见过的小鸟，初展幼翼， 安知将来会飞多高远？
他认为，如果论文本身具备创新点，那么就不要过度地纠结性能。
另一方面，仅仅性能良好并不能代表该论文就具备创新之处。性能表现良好或许只是因为采用了一种新方法，或者投入的工程量或数据量大，亦或者是因为过拟合。
另一方面，注意对增量扩展（incremental extension）的偏见。已知技术的整合并非总是显而易见的， 往往需要解决一些技术关键。
六、顶级会议/期刊的作用
顶级会议/期刊应该发挥去粕取精的作用，确保优秀的论文能够被发表。千里马常有，而伯乐不常有。当论文的研究内容非常重要或者非常优秀时，审稿人一定要慧眼识珠，选出应发表的优秀论文。而一些糟糕的论文“水货”，即使发表也不会得到称赞，会渐渐流失， 不必太在意。
此外，罗教授指出时间才是检验好论文的唯一标准，oral论文未必比poster论文更好。目前已经有很多学术会议设立了时间检验奖。获得时间检验奖的论文或许才应该是最佳论文（反之不一定）。作为一个优秀的审稿人，应该发掘出有潜力的论文，让时间进一步检验论文的质量。
不同级别的学术会议/期刊等的标准自然也是不同的，审稿人也应该了解各个学术会议的级别，以确定审查论文的标准。
七、如果对论文涉及的领域不是很了解怎么办？
首先要保持开放的思维。当你对一个领域比较陌生时，恰恰是个学习新知识的好机会。你可能需要学习该领域的相关知识，有时还会收获意外的启发。何乐而不为呢？同时要尽最大努力研读该论文，需要时可以查阅相关引用资料。
要注意的是：不要被个人喜好所影响，例如有些研究者在数据驱动和模型驱动二者之间有所偏好，这可能会影响你对论文的判断。一定要仔细研究论文本身，考虑其是否值得在社区中推广。
还要意识到你作为一个非该领域专家的评价是非常重要的。在任何涉及利益冲突的情况下，都是当局者迷，旁观者清。而作为非该领域审稿人的你，应该是最公平的，比基于论文匹配算法选出的审稿人更能保持公平公正（因为匹配算法选出的审稿人常常非友即敌， 都是conflict of interest）。
最后，罗杰波教授给审稿人提供了一个review流程图。审稿人可以遵循下图中的流程来提高审稿质量。
在问答阶段，罗杰波教授回答了一个审稿中切实的问题，问：如何对待数据或代码不能开源的论文？答：开源带来了领域的高速发展， 这毋庸置疑。以至于很多人认为开源天经地义，否则就是罪过。但是有的情况下，数据集不能公开（医疗，隐私等等原因），这是情有可原的。有时代码也有某种原因不能（马上）公开（比如涉及公司产品）。审稿人不能一概而论， 一概抹杀。审稿人有责任根据对论文的理解做出判断。毕竟我们的研究成果是思路方法，不是代码！复现别人算法也是一个研究者份内工作。很多初入领域的人动不动就索要别人代码，甚至在别人论文正式发表之前。这都是对别人的工作和知识产权不尊重的表现。 已经有一些学术不端的案例， 把别人的代码数据拿去之后，稍加改动抢先发表。
对罗杰波教授报告内容感兴趣的读者可以观看官方b站视频： https://www.bilibili.com/video/BV1yt4y1Q73k?from=search&seid=11081125045008906833。
活动参与方式 1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；
2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G、H、I、J、K群已满，除讲者等嘉宾外，只能申请加入VALSE N群，群号：942264004）； *注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。
3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；
4、活动过程中，请不要说无关话语，以免影响活动正常进行；
5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；
6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；
7、VALSE微信公众号会在每周四发布下一周Webinar报告的通知及直播链接。
8、Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新[slides]。
9、Webinar报告的视频（经讲者允许后），会更新在VALSE爱奇艺、B站、西瓜视频，请搜索Valse Webinar进行观看。 | 
发表于 2020-7-16 23:13:43
