无需训练数据的语言生成模型控制技术

许多流行的人工智能应用（如机器翻译、对话AI和问答系统）都依赖于自然语言生成，即生成语法和语义连贯的新文本序列。有时需要调节语言生成器的输出：例如在不同场合，机器翻译模型可能需要产生更正式或更地道的翻译；对话AI模型可能更侧重于传递信息或引导人类对话者回应。

通常，构建提供此类控制的自然语言生成（NLG）模型意味着在适当类型的标注数据（正式或非正式用语、信息性或询问性语句）上重新训练模型。但某机构AI组织的研究人员发明了一种无需重新训练即可调节语言生成器输出的方法。

他们向NLG模型添加了三个被称为"控制旋钮"的组件，可以改变模型输出。该方法在题为《使用编码器-解码器变换器进行零样本控制生成》的论文中进行了描述，该论文已提交至arXiv。论文通讯作者、高级应用科学家Mahdi Namazifar就团队工作回答了三个问题。

控制旋钮的工作原理

问：向NLG模型添加"控制旋钮"意味着什么？

该领域的普遍看法是，一旦模型训练完成，如果手动进行更改，会导致模型性能退化。与这一观点相反，我们在这项工作中所做的正是如此：获取训练好的模型并手动操作模型的权重和参数。研究表明，这不仅不会导致模型退化（我们能够保持生成质量），而且如果以系统化和直观的方式操作，还能实现控制。

注意力偏置就是一个很好的例子。注意力机制决定在此时需要关注输入的特定分布。我们展示可以进入注意力模块，强制训练好的模型比通常更关注上下文的某些部分。

例如，如果有一个对话模型，我们希望下一个对用户的响应更具信息性，实际上可以强制模型更关注我们提供的知识片段。同样，预期这会使模型完全失控，但我们非常惊讶地发现这种情况并未发生，实际上它实现了我们的设想，并符合直觉。

三种控制方法

问：另外两个旋钮是什么？

我们引入的另一个旋钮是解码器混合。假设有两个不同的模型，它们有两个不同的解码器，这些解码器已经学习了不同的技能。例如，在对话系统中，解码器学会了根据对话历史如何回应。假设另一个解码器具有完全不同的任务——例如自编码器，给定输入编码能够重建输入。这两个解码器学习了不同的技能。我们展示通过混合它们，可以混合它们学到的技能。一个可以回应；一个可以从输入中复制。如果输入中包含某些知识，那么结合这些可以使回应更具信息性。

第三个旋钮也很有趣。为了实现某些期望的控制，我们建议用某些额外的输入来增强输入——这同样是直观设计的。例如，如果希望生成的语言是问题形式，我们展示如果获取一堆问题，以某种方式编码它们，并用这种问题编码增强输入，模型就能生成更多问题；无论模型原本想生成什么，都会以问题形式生成。或者如果希望根据特定主题生成，可以给予该主题的控制短语，这将推动模型根据该主题生成，或带有特定情感等。

这与文献中存在的语言模型预激概念类似，但预激从未被证明适用于较小的语言模型。它被证明适用于具有数千亿参数的模型，这些模型的计算运行成本非常高。但我们展示这种"预激"版本可以让小得多的模型（甚至小三个数量级）以不同方式使用预激概念。同样，这个旋钮和其他两个完全不需要额外的训练和标注数据。

实验发现与额外贡献

问：你们尝试过其他类型的控制旋钮吗？

基于编码器-解码器变换器的NLG模型有两组注意力。一组称为自注意力，一组称为交叉注意力。自注意力在模型生成时启动，它关注到此时为止生成的内容——“两秒钟前我说了什么词？“交叉注意力关注上下文——上一轮所说的所有内容，或关于对话主题的某种知识等。

我们发现对交叉注意力应用注意力偏置效果很好，如论文中讨论的那样，但当对自注意力应用注意力偏置时，我们基本上看到了从一开始就预期的情况，即模型开始生成乱码，或者模型开始退化。

经过大量深入研究，我们提出一个假设：在这些模型中，自注意力模块负责生成语言的流畅性，这可能就是它的主要功能。为什么这很重要？我们展示如果有一个流畅的另一个模型，并用另一个流畅模型替换模型的这一部分，我们仍然获得良好的生成结果。这告诉我们，在为任何任务训练模型时，也许不需要专注于训练这些部分。如果有一个流畅生成的模型，我们可以直接使用那些权重和模块。

这样做的好处基本上是节省计算。在某些情况下，我们可以用减少44%的权重和参数训练模型，仍然获得相当有竞争力的结果，这非常重要，因为训练这些模型非常昂贵。训练时间将显著减少，我们可以使用更小的机器训练相同模型，这也减少了碳足迹。

这是这项工作的次要贡献，专注于一个不起作用的情况。这个旋钮不起作用，当我们深入研究为什么不起作用时，得出了一些新发现。

研究人员模型示意图，包括三个有效的控制旋钮（A-C）和一个无效的（自注意力偏置，D）

研究人员注意力偏置"控制旋钮"示意图。训练模型学到的注意力分布（下部蓝色条形组）被重新加权（bt）并归一化以产生新分布