为促进任务型对话智能体在新场景中的泛化能力研究，某机构在EvalAI平台推出了对话AI挑战赛。作为基准参考，同时发布了一套在七项任务中五项达到业界最优性能的模型。
该挑战名为DialoGLUE（对话语言理解评估），旨在推动基于表示的迁移学习、领域自适应和样本高效任务学习技术发展。这些技术的进步将实现对话泛化能力，即对话智能体在无需大量重新训练的情况下，从原有任务（如餐厅预订）快速适应新任务（如酒店预订）。目前扩展对话智能体功能所需的工作量通常与新增领域数量呈线性增长。
研究表明，部分原因在于对话研究社区缺乏标准化的数据集和评估方法。为支持DialoGLUE，研究人员发布了聚合七个公开对话数据集的标准数据集，统一了数据表示格式，可用于联合训练和评估单一对话模型。
数据集标注涵盖四大自然语言理解任务：
- 意图预测：识别用户希望语音代理提供的服务类型
- 槽位填充：识别用户提及的实体及其类型（如将"Play ‘Popstar’ by DJ Khaled"中的"Popstar"识别为歌曲名槽位值）
- 语义解析：解析单句话中意图与槽位值的层次结构
- 对话状态跟踪：追踪对话过程中用户意图及所需槽位值的变化
挑战赛提供两种评估模式：
- 全数据设置：使用完整数据集训练能完成七项任务的对话模型
- 小样本设置：仅使用约10%的数据进行模型训练
DialoGLUE采用滚动式挑战机制，参与者可随时提交模型，排行榜实时更新。基准模型在七项任务中的五项达到业界最优水平，既证明了聚合数据集的价值，也为参赛者提供了性能标杆。基准系统已公开提供使用。