机器学习与对话AI前沿方法解析

多注意力可扩展对话状态跟踪（MA-DST）

通过三层不同粒度的注意力机制改进对话状态跟踪，使最新技术水平的状态跟踪准确率提升5%。系统能记忆对话早期上下文信息，如当用户询问"附近有印度餐厅吗？“时，状态跟踪器会更新菜品类型变量为"印度”，并记住"附近"指向两轮前提到的电影院位置。

针对多选题训练数据缺乏的问题，提出两阶段适配方法：先在大型自然语言推理数据集上进行粗调，再在特定领域问答集上微调。该方法在多个基准数据集上实现16%的准确率提升。

采用强化学习训练机器人在理解语音指令困难时主动求助。每次导航任务中单次求助可使任务完成成功率提高15%，操作员可通过语音和视觉反馈提供澄清。

通过建模用户重述请求的序列作为"吸收马尔可夫链"，利用隐式信号自动改进自然语言理解模型。测试显示系统的有效替代率达到12:1的胜率比。

通过让学生模型同时模仿教师模型的输出和内部状态，在BERT模型实验中实现5-10%的性能提升，并发布了新的Reddit数据集供研究使用。

针对答案句子选择任务，先在大规模通用问答对上微调语言模型，再在小型主题特定数据集上二次微调，将最先进错误率降低50%。

使用注意力掩码机制强制保持对话的层次结构，在多个数据集上显著提升对话回复关系识别的准确率。

通过两种隐式满意度信号（5分钟内或1-25小时后再次请求笑话）自动标注训练数据，基于两种信号训练的模型均超越现有基线模型。