未知意图发现：ADVIN方法
在国际声学、语音与信号处理会议（ICASSP 2022）上，研究人员提出了名为ADVIN的创新方法，用于自动识别和分类自然语言理解（NLU）模型从未见过的领域和意图。该方法通过三阶段流程实现：
第一阶段：模型识别数据集中包含未知意图。该模型使用已知意图的标注数据和公开可用的域外语句进行训练，作为未知意图未标注数据的代理。
第二阶段：另一个模型基于语义内容对标注和未标注语句进行聚类。研究人员从标注意图的聚类中推导出最大化意图区分能力的最佳距离阈值，并将该值应用于未标注数据以识别新意图对应的聚类。
第三阶段：在更高泛化层级重复此过程，将前一阶段发现的意图聚类到相应领域。
动态个性化建模
在个性化文本分类方面，研究团队提出了增量用户嵌入建模方法。该方法通过动态更新个性化模型来反映最新的用户交互，解决了传统方法中交互历史持续更新带来的挑战。
模型架构接收当前NLU处理请求、用户长期历史和短期历史的表征作为输入。通过注意力机制确定短期历史中哪些信息在长期历史背景下最具价值，反之亦然。注意力机制的输出是临时用户画像，用于处理当前请求。
在两项不同数据集测试中，该方法相比现有技术将预测准确率分别提升9%和30%。
基于知识图谱的食谱推荐
研究还针对食谱推荐这一特定场景提出了对比知识图谱注意力网络。传统机器学习方法面临用户与食谱交互数据噪声大且稀疏的挑战。
解决方案：
- 构建食谱图谱，其中每个节点代表一个食谱，共享相同菜系类型、原料或相关关键词的食谱通过边连接
- 将代表用户的节点加入图谱，用户节点与食谱之间的边表示交互关系并编码交互类型
- 使用对比学习训练模型创建图谱节点的表征
训练框架：通过图谱增强（GA）生成合成正例，用于训练知识图谱注意力（KGAT）网络。模型学习产生使对比样本在表征空间中相互远离、相关样本相互靠近的表征。
研究人员通过随机丢弃节点或边创建真实样本的合成变体，训练模型关注数据的基本特征而忽略非必要特征，从而获得更好的泛化能力。在两个不同指标和数据集上，该方法比现有技术提升5%到7%。
技术价值
这些研究成果展示了在自然语言理解领域的重要进展：
- ADVIN方法为处理未知用户意图提供了系统化解决方案
- 动态个性化建模实现了实时用户偏好更新
- 图谱技术与对比学习的结合有效解决了稀疏数据下的推荐准确性问题
这些技术创新为构建更智能、更个性化的对话系统提供了坚实的技术基础。