机器推理技术：从理论到实践

作为计算语言学协会年会的高级领域主席，某中心网络服务AI组织的自然语言处理科学负责人Dan Roth对会议论文提交有着独特的观察视角。在今年的议程中，一个主题引起了他的特别注意。

“我查看了ACL论文的一些统计数据，发现现在有数十篇论文在标题中包含‘推理’这个词，“同时担任某大学计算机与信息科学系杰出教授的Roth表示，"‘学习推理’这个标题现在变得相当热门。我认为很多人工智能研究正在朝着这个方向发展。”

机器推理的核心概念

机器推理被定义为"进行推断的能力，特别是在那些不太可能先前观察到的‘稀疏’情境中”。经典的例子是演绎推理：从所有人类都是有限的，以及萨福是人类这两个事实，机器推理系统应该推断出萨福是有限的。

Roth在这个领域已有超过25年的研究经验，非常适合评估该领域的最新进展。“这实际上是我的博士研究工作，“他回忆道，“当时学习理论还是一个新兴领域。基本问题是如何形式化学习，以及某事物可学习或不可学习意味着什么？学习中的计算复杂性问题是什幺？我试图将这些问题推向推理领域，这些领域从未从理论视角或计算复杂性视角进行过研究。”

端到端学习与推理

“当时的假设是有人给你输入——例如知识库——然后你向其提出推理查询，在这种背景下你想展示可以计算什么。我的博士论文展示了如果你不是从知识库开始，而是联合进行从数据中学习和从产生的中间表示进行推理，这比分别进行这两项任务要容易。你可以说今天的端到端学习是这种学习推理过程的一个实例化，尽管只是概念上的。技术上，这些东西非常非常不同。”

模块化方法的重要性

尽管Roth在某种意义上是端到端推理模型的先驱，但他认为更复杂的推理问题需要更复杂的建模。

“我们有很多困难问题，远远无法仅使用一个模型来解决，“他指出，“许多问题需要以模块化的方式思考事物。”

“我举个简单例子。我想问我的虚拟助手：‘我们能在电影开始前赶到晚餐地点吗？’这个助手需要做什么才能回答我的问题？它需要知道我现在在哪里，电影在哪里，到达那里需要多长时间——这在今天很容易做到。晚餐需要多长时间？我没有提到任何相关信息，但我们对晚餐的典型时长有所了解，可能取决于晚餐地点。我需要找停车位吗？我没有提到停车。这是一个隐含事件，但我们知道我必须停车，可能在晚餐地点附近，可能在电影院附近。我必须考虑这一点。”

“所以我需要有知道如何计算事物的模型，具有一些常识——晚餐的典型时间，找停车位的典型时间，在这些地点之间驾驶的时间。然后我需要一个知道如何把这些整合在一起的模型。这不可能是同一个模型，因为我不会针对每个问题进行训练。我们想要解决的许多问题都是这样的，存在模块化，如果不认识到这种模块化，我们将永远无法前进。”

符号推理的回归

此外，Roh表示，整合这些独立模块的系统几乎肯定需要使用符号推理，或基于规则的符号表示操作。

“神经网络的发展和兴奋让符号被抛在了后面，“Roth指出，“有些人认为符号是老派AI研究者的邪恶发明。但符号被发明是因为它们是有用、必要的抽象。而且，解释也是符号性的，对吧？当你问我‘你为什么决定这个？’或‘为什么这个由那个暗示？’时，我需要向你解释，当我这样做时需要使用符号。所以我认为我们开始探索这个有趣的空间，介于连续模型和主要是符号性的交互之间。”

“有些人认为符号是老派AI研究者的邪恶发明。但符号被发明是因为它们是有用、必要的抽象。”

— Dan Roth

“我举个例子。我在关于自然语言文本中表达的时间推理方面做了很多工作。如果你想推理事件，你必须使用这个事实——人们一直在这样做——时间是可传递的。如果A发生在B之前，B发生在C之前，那么A发生在C之前。这永远不会被明确写出。所以我们某种程度上告诉我们的模型‘时间是可传递的’，我们可以证明这有很大帮助。”

两种范式的结合

然而，时间的传递性是可以体现在神经网络架构中的东西。Roth解释说，情况并非总是如此。

“有些情况下，只有在后处理中你才意识到某些声明性约束，“Roth说，“一旦你评估模型，一旦你解码，一旦你做出决定——只有那时你才想施加声明性约束。有时存在我在训练模型时不知道的约束：模型是固定的，我昨天训练了它，但现在我在给定情境中使用它，我意识到一个约束，希望能够施加它。人们现在正在进行非常有趣的理论工作，试图理解这两种范式的优缺点——哪种在什么情况下更好。但事实是我们需要两者。”

“在过去的五年里，深度神经网络产生了巨大影响，特别是在自然语言背景下，“Roth补充道，“有很多兴奋，这是有充分理由的。但迟早，人们会意识到这还不够。我认为今天，越来越多的人开始思考推理问题，以及分解和组合来解决这些问题的必要性。”