EACL 2023：大语言模型时代的语言处理

提示工程、语言模型适应以及修复大语言模型“幻觉”的尝试，指明了该领域未来的研究方向。

会议背景

今年欧洲计算语言学协会会议（EACL）的联合主席是某中心Alexa AI组织首席科学家Alessandro Moschitti。这次会议正值该领域历史上一个特殊时期。Moschitti表示：“随着大语言模型最近取得的显著成就，我们在自然语言处理中曾经认为是AI核心问题的大部分问题——例如句法分析、语义分析、共指消解或情感分析——基本上都得到了解决。你可以向chatGPT发送一些查询，它能很好地检查一段文本的语法。”

研究现状

然而，大多数研究人员与大语言模型的交互方式是通过应用程序编程接口；他们无法访问模型的内部工作机制。这导致最近研究集中在提示工程上，即设计能够引发期望输出的大语言模型输入。

“如果你想进行一些更基础的研究——产生不同的架构——而你与大语言模型的所有者没有关联，就没有办法进行这类研究，”Moschitti说。“或者，你仍然需要一个较小的模型作为代理——顺便说一下，这或多或少是相同的架构，只是规模较小。”

因此，Moschitti解释说，EACL上的许多论文仍然涉及前一代语言模型，如BERT、RoBERTa、Electra和T5。大语言模型基于相同的架构，但参数数量级更多，并在类似文本完成任务上训练，但数据集更大。因此，涉及较小模型的实验结果通常对大语言模型具有启示意义。

幻觉修复

当然，大语言模型被广泛报道的缺点是它们倾向于“幻觉”，或做出听起来合理但虚假的事实断言。Moschitti解释说，修复幻觉已经是一个活跃的研究领域，并且可能只会越来越受欢迎。

“你甚至会在EACL上看到几篇试图解决基于Transformer模型这一局限性的论文，”Moschitti说。“主要有两种方法。一种方法是训练模型然后分析输出，构建一些能够检测输出是否为幻觉的分类器。”

“另一种方法在技术上更清晰，是以减少幻觉的方式训练模型。以前，我们使用约束解码，意味着在解码输入时应用一些约束，使得我们不会偏离输入太多。现在，一个普遍的话题是所谓的接地。接地意味着当我们向大语言模型提问时，不是提供零输入——此时模型从其参数记忆中创建——如果我们提供一些基础、一些事实给模型，模型可以基于这些基础生成。”

负责任AI

与过去几年大多数AI相关会议一样，负责任AI也是EACL的一个重要话题，Moschitti说。自然语言处理模型中某些形式的偏见很容易衡量：例如，模型将特定性别（如女性）与特定职业（如护士）相关联的情况。这些类型的偏见可以使用跨学科通用的机器学习技术来解决。

但其他类型的偏见更为微妙，例如描述不同人口群体成员时语气的细微差异。根除这些类型的偏见需要自然语言处理研究人员的特殊技能。

“这肯定是适合自然语言处理社区的一个重要话题，因为这是一个风格问题，关于你如何表达事物，”Moschitti说。“所以涉及意义和语用学。”

程序变化

道德关切导致了EACL最近的另一个变化，Moschitti说——但这是一个程序性变化，而不是论文主题的变化。

“我们每年有三四个主要的自然语言处理会议，”Moschitti说。“在EACL之前，我们有EMNLP（自然语言处理经验方法会议），他们开始了一个新趋势，要求每篇论文提交都有一个关于局限性的部分。它应该描述所提出解决方案的适用性背景。因为通常，人们倾向于写得好像他们的方法在任何地方都能提供改进。但通常，一种方法有局限性。可能是效率；可能是特定语言的适用性；可能是设置；或者可能需要特定资源。所以EMNLP开始了添加这个局限性部分的想法，在我们的EACL论文中，我们也有这个要求。”