多语言虚拟助手扩展至千门语言的技术实现

人机交互范式的演进

过去50年间，计算技术从基于文本的终端输入发展到图形用户界面、Web应用程序、移动时代，最终进入语音用户界面和环境计算时代。每种范式在多语言支持方面都面临独特挑战，而语音AI系统是实现大规模多语言支持最具难度的范式。

典型语音AI系统包含：

系统还需处理底层知识图谱扩展、语义解析、触摸屏内容本地化等附加任务。

通过掩码语言建模等自监督预训练目标，模型能够从无需标注的单语数据中学习语言表征。利用Common Crawl网络抓取数据、维基百科全文等海量语料，结合具有高度并行化能力的Transformer架构，可构建包含数百亿密集参数的大规模模型。

在多语言建模中，模型首先在多种语言上进行自监督预训练，然后使用仅含英语等单一语言的标注数据进行微调。令人惊讶的是，模型能够利用预训练阶段学习的语言知识，对未见过标注数据的语言进行意图分类。

仅通过提供适当提示，预训练模型就能执行特定任务而无需额外训练。例如在文本摘要任务中，只需在段落前添加"Passage:“前缀和"Summary:“提示，模型即可生成相应摘要。

某中心教师模型管道包含以下关键步骤：

测试表明，该方案在保证低延迟和低内存消耗的同时，显著提升了模型准确性并降低了用户不满意率。

新发布的多语言自然语言理解基准MASSIVE包含：

针对数据稀缺语言，研究人员探索使用双语词典等语言资源提升模型性能。词典覆盖的语言范围远大于传统建模数据源，为低资源语言处理提供了新思路。

通过挖掘历史语料改进系统性能：当用户在多轮交互中重新表述请求，或多个用户对同一目标提供不同表述时，系统可统计聚合这些表述形成新的训练集，无需人工标注即可更新系统。

要实现支持7000种语言的目标，需要：

多语言技术的进步将为全球用户带来更丰富的交互体验，每种语言都为我们理解世界提供独特视角。