某中心AI团队荣获NeurIPS研讨会最佳论文奖

某中心AI研究团队在NeurIPS 2021高效自然语言与语音处理研讨会（ENLSP）上获得最佳论文奖。获奖论文《面向任务型对话系统中零样本和少样本知识寻求轮次检测》由应用科学家Di Jin、Shuyang Gao、首席应用科学家Seokhwan Kim、Yang Liu以及高级首席科学家Dilek Hakkani-Tür共同完成。

研究背景与挑战

目前，任务型对话系统通常依赖预定义的API完成任务，并将API范围之外的请求作为域外案例过滤掉。论文重点研究如何通过整合来自网络或其他来源的外部领域知识，更有效地处理域外客户请求。

Jin指出，该问题主要源于训练数据与实际用户请求之间的分布差异：“很难保证所有用户查询或输入文本与训练数据保持完全相同的分布。我们的API基于常见用户查询设计，因此需要增强模型来检测域外数据并将这些用户查询路由到其他处理渠道。”

技术方案：REDE模型

研究团队设计了一个能更有效识别和路由域外请求的模型，并将其命名为REDE（自适应REpresentation学习和DEnsity估计）。

Kim解释道：“处理这类问题最典型的方法是训练二元分类器，例如使用BERT等大规模预训练语言模型。但这需要正负样本实例来构建机器学习模型，以判断给定输入能否由API处理或需要外部知识。由于开放域对话AI系统允许客户提出任何问题，很难收集足够数量的域外实例来训练分类器。”

创新方法

Jin表示：“我们提出的方法不是基于训练数据集来训练分类器，而是调整现有表示。我们转换该表示，使新表示在两类之间具有足够的区分能力：当前API能处理的已知实例和可能未知的域外实例。”

性能表现

论文指出，REDE模型在标准请求和域外请求的处理上均优于二元分类器，无论是在低资源还是高资源设置下。在零样本和少样本场景中，REDE模型相对于BERT等传统二元分类器获得了更大的性能优势。

Kim总结道：“关键结论是，这种简单的表示转换方法非常有效且高效。这将帮助我们使用更小的数据集和更小的模型开发更强大的对话模型。”

本文基于NeurIPS 2021研讨会最佳论文奖研究成果，相关技术已应用于实际对话系统优化。