ICML2025杰出立场论文：专访Jaeho Kim谈如何解决会议评审问题

在今年的国际机器学习大会（ICML2025）上，Jaeho Kim、Yunseok Lee和Seulki Lee因其作品《立场：AI会议同行评审危机需要作者反馈与评审者奖励》获得杰出立场论文奖。以下是Jaeho关于他们试图解决的问题以及提出的作者反馈机制和评审者奖励系统的访谈内容。

关于论文探讨的核心问题

当前AI会议同行评审系统的紧迫问题在于AI兴趣推动下论文提交量的指数级增长。数据显示，NeurIPS今年收到超过3万篇投稿，而ICLR的投稿量在一年内增长了59.8%。这种巨大的增长导致了一个根本性失衡：论文提交量呈指数增长，而合格评审人员的数量却未能同步增加。

这种失衡带来了严重后果。大多数论文无法获得足够的评审质量，削弱了同行评审作为科学知识守门人的基本功能。当评审过程失效时，不合适的论文和有缺陷的研究可能会混入，污染科学记录。

考虑到AI深远的社会影响，这种质量控制的崩溃带来的风险远远超出学术界。进入科学讨论的劣质研究可能误导未来工作，影响政策决策，最终阻碍真正的知识进步。

论文提出的解决方案

该立场论文提出两项重大变革来应对当前同行评审危机：作者反馈机制和评审者奖励系统。

首先，作者反馈系统使作者能够正式评估所收到评审的质量。该系统允许作者评估评审者对其工作的理解程度，识别LLM生成内容的潜在迹象，并建立针对不公平、有偏见或肤浅评审的基本保障措施。重要的是，这并非为了惩罚评审者，而是建立最低限度的问责制，保护作者免受少数不符合专业标准评审者的影响。

其次，评审者激励系统为高质量评审提供即时和长期的专业价值。短期激励方面，作者评估分数决定数字徽章（如“前10%评审者”认可）的获取资格，这些徽章可显示在OpenReview和Google Scholar等学术档案上。长期职业影响方面，提出如“评审者影响分数”等新指标—— essentially 一个基于评审者所评论文后续引用计算的h指数。这将评审者视为他们帮助改进论文的贡献者，并验证他们在推动科学知识进步中的作用。

双向同行评审方法的具体设计

提出的双向同行评审系统对当前流程进行一项关键修改：将评审发布分为两个阶段。

当前流程中，作者提交论文，评审者撰写完整评审，所有评审同时发布。在新系统中，作者首先仅收到中性部分——对其论文的总结、优点和问题。作者随后提供关于评审者是否正确理解其工作的反馈。只有在收到此反馈后，才发布包含缺点和评分的第二部分。

这种方法有三个主要优点。第一，实用性强——无需改变现有时间表或评审模板。第二阶段可在作者提供反馈后立即发布。第二，保护作者免受不负责任评审的影响，因为评审者知道其工作将被评估。第三，由于评审者通常评审多篇论文，可通过跟踪其反馈分数帮助领域主席识别（不）负责任的评审者。

关键洞察在于：作者最了解自己的工作，能快速发现评审者是否未恰当参与其论文。

具体奖励机制设计

提出短期和长期奖励来解决评审者动机自然衰退的问题。

短期：基于作者反馈分数授予的数字徽章，显示在评审者学术档案上。目标是使评审者贡献更加可见。虽然某些会议在网站上列出顶级评审者，但这些列表难以查找。设计的徽章将显著显示在档案上，甚至可打印在会议名牌上。

长期：量化AI会议评审者影响的数值指标。建议跟踪如已评审论文的h指数等指标。这些指标可纳入学术档案，类似于当前跟踪出版物影响的方式。

核心思想是为评审者创造切实的职业利益，同时将同行评审建立为一种专业的学术服务，使作者和评审者共同受益。

系统实施的利弊分析

该系统的益处有三方面。首先，这是一个非常实用的解决方案。该方法不改变当前评审时间表或评审负担，易于纳入现有系统。第二，鼓励评审者更负责任地行动，因为他们知道自己的工作将被评估。需要强调大多数评审者已经专业行事——然而，即使少数不负责任的评审者也可能严重损害同行评审系统。第三，在足够规模下，作者反馈分数将使会议更具可持续性。领域主席将获得关于评审质量的更好信息，使其能够就论文录用做出更明智决策。

然而，存在评审者操纵系统的强烈可能性。评审者可能通过给予过度正面评价来优化奖励。肯定需要采取措施应对这些问题。目前正在探索解决此问题的方案。

关于会议与同行评审未来的 concluding thoughts

观察到的一个新兴趋势是LLM在同行评审中的讨论日益增多。虽然认为当前LLM存在若干弱点（如提示注入、浅层评审），但也认为它们最终将超越人类。当这种情况发生时，将面临一个根本性困境：如果LLM提供更好的评审，为什么还需要人类评审？正如LLM的迅速崛起让我们措手不及并造成混乱一样，我们无法承受重蹈覆辙。应尽快开始为这个问题做准备。

关于Jaeho

Jaeho Kim是某大学博士后研究员，师从Changhee Lee教授。他在某机构获得博士学位，导师是Seulki Lee教授。他的主要研究聚焦时间序列学习，特别是开发生成合成和人工指导时间序列数据的基础模型以降低计算和数据成本。他还致力于改进主要AI会议的同行评审流程，其工作获得ICML 2025杰出立场论文奖认可。

阅读完整作品：《立场：AI会议同行评审危机需要作者反馈与评审者奖励》，作者Jaeho Kim、Yunseok Lee、Seulki Lee。