某中心在ACL：如何让机器学会推理

作为今年计算语言学协会（ACL）会议的高级领域主席，最近加入某机构云服务AI组织担任自然语言处理科学负责人的Dan Roth对会议论文提交有很好的观察。在今年的议程中，一个主题引起了他的注意。

“我查看了ACL论文的一些统计数据，发现现在有数十篇论文标题中包含‘推理’，”Roth说，他同时也是宾夕法尼亚大学计算机与信息科学系的Glandt特聘教授。“‘学习推理’这个标题现在变得有点热门。我认为很多AI研究正朝着这个方向发展。”

机器推理，Roth说，是“进行推断的能力，尤其是在以前不太可能观察到的‘稀疏’情况下”。经典的例子是演绎：从所有女人都是凡人以及萨福是女人的事实，机器推理系统应该推断出萨福是凡人。

Roth非常适合回顾该领域的最新进展，因为这已经是他自己研究超过25年的主题。“这实际上是我的博士工作，”他说。“学习理论在当时是一个新兴领域。问题基本上是，我们如何形式化学习，以及某物可学习或不可学习意味着什么？学习中的计算复杂性问题是什幺？我试图将这一点推向推理中的问题，这些问题从未从理论角度或计算复杂性角度进行研究。”

“假设有人给你一个输入——例如知识库——你向其提出推理查询，在这种情况下，你想展示可以计算什么。我的博士论文是关于展示，如果你不是从知识库开始，而是联合从数据中学习并从产生的中间表示中推理，这比分别进行每一项更容易。你可以说，今天的端到端学习是这种学习推理过程的一个实例化，尽管只是概念上的。技术上，这些东西非常非常不同。”

组合性

尽管Roth在某种意义上是端到端推理模型的先驱，但他认为更复杂的推理问题将需要更复杂的建模。“我们有很多难题，远不能仅用一个模型来解决，”他说。“许多问题将需要以模块化的方式思考事物。”

“我给你一个简单的例子。我想问我的虚拟助手，‘我们能在电影之前赶到晚餐吗？’这个助手需要做什么来回应我的问题？它需要知道我现在在哪里，电影在哪里，到达那里需要多长时间——这今天很容易做到。晚餐需要多长时间？我没有提到任何关于它的事情，但我们对晚餐的典型长度有一些了解，也许作为晚餐地点的函数。我需要找停车位吗？我没有提到停车。这是一个隐含的事件，但我知道我必须停车，也许在晚餐地点旁边，也许在电影旁边。我必须考虑这一点。”

“所以我必须有知道如何计算事物的模型，有一些常识——晚餐的典型时间，找停车位的典型时间，在这些地方之间驾驶。然后我需要一个知道如何把这些放在一起的模型。它不会是同一个模型，因为我不会对每个问题进行训练。我们想要解决的许多问题都是这样，存在模块化，如果不意识到有模块化，我们将永远无法前进。”

符号推理

此外，Roth说，集成这些独立模块的系统几乎肯定需要使用符号推理，或基于规则的符号表示操作。“神经网络的增长和兴奋让符号落后了，”Roth说。“有些人认为符号是老派AI人士的邪恶发明。但符号被发明是因为它们是有用的、必要的抽象。而且，解释是符号性的，对吧？当你问我，‘你为什么决定这个？’或‘为什么这个由那个暗示？’，我需要向你解释，当我这样做时，我需要使用符号。所以我认为我们开始探索这个有趣的空间，介于连续模型和主要是符号性的交互之间。”

“有些人认为符号是老派AI人士的邪恶发明。但符号被发明是因为它们是有用的、必要的抽象。” — Dan Roth

“我给你一个例子。我做了很多关于时间推理的工作，如自然语言文本中所表达的。如果你想推理事件，你必须使用事实——人们一直在这样做——时间是可传递的。如果A发生在B之前，B发生在C之前，那么A发生在C之前。这永远不会被明确写出。所以我们有点告诉我们的模型‘时间是可传递的’，我们可以展示这有很大帮助。”

然而，时间的传递性是可以表示在神经网络架构中的东西。Roth解释说，情况并不总是如此。“有些情况下，只有在后处理中你才意识到一些声明性约束，”Roth说。“一旦你评估你的模型，一旦你解码，一旦你做出决定——只有那时你才想施加声明性约束。有时有一些约束是我在训练模型时不知道的：模型是固定的，我昨天训练了它，但现在我在给定情况下使用它，我意识到一个约束，我想能够施加它。人们现在正在做非常有趣的理论工作，试图理解这两种范式的优点和缺点——什么时候哪一种更好。但事实是，我们两者都需要。”

“在过去的五年里，深度神经网络产生了巨大影响，尤其是在自然语言背景下，”Roth补充说。“有很多兴奋，有充分的理由。但迟早，人们会意识到那是不够的。我认为今天，越来越多的人开始思考推理问题以及分解和组合以解决它们的需要。”