深度学习的下一步是什么？

人工智能促进协会(AAAI)本周召开年度会议，该协会首次会议可追溯至1980年。但其AI渊源更为久远：首任主席中的John McCarthy和Marvin Minsky曾参与1956年达特茅斯人工智能夏季研究项目，该项目标志着AI成为独立研究领域。

与所有AI会议一样，AAAI也被深度学习革命所改变。许多人将这场革命起点定于2012年，当时AlexNet深度网络在ImageNet物体识别挑战中以低于第二名40%的错误率获胜。鉴于该论文发表十周年，且AAAI在其漫长历史中见证了AI研究趋势的兴衰，某机构科学认为此刻思考深度学习革命后的发展恰逢其时。

革命起点的重新界定

某中心副总裁兼杰出科学家Nikko Ström对革命起始时间提出不同看法：“现代深度学习始于2010年某机构实验室，语音是首个应用领域。与图像处理类似，准确率呈现阶跃式提升。当时语音识别系统因采用这些方法，错误率一年内降低30%。计算机视觉是比语音识别更大的领域，可视化问题更易理解，这可能是ImageNet等视觉任务更易入门的原因。”

Ström认为“深度学习之后是什么”这个问题本身可能不成立，因为深度学习的定义不断演进以吸纳新的AI创新。“1970年代Joel Moses关于Lisp的名言‘Lisp如同泥球，添加更多仍是泥球——看起来仍像Lisp’同样适用于深度学习。这个术语随时间推移被应用于众多不同类型模型，正逐渐成为容纳所有AI的泥球。”

符号推理的融合

AI研究历史常被描述为符号推理与机器学习两种方法的拉锯战。在AAAI最初十年，符号推理占主导地位，但机器学习在1990年代开始取得进展，随着深度学习革命接管了整个领域。

Ström表示，符号推理只是深度学习泥球可能吞噬的另一组方法。“Transformer网络具有注意力机制，可以让网络更关注特定向量而非其他信息。通过预填充代表知识库真理的向量，网络能学会根据输入关注正确的知识片段，这是结合结构化世界知识与深度学习系统的方式。”

“图神经网络能表示世界知识，节点代表实体，边代表实体间关系。使用注意力机制可以聚焦于当前上下文或问题相关的知识图部分。在抽象意义上，我们知道所有知识都可用图表示，关键在于如何以适合任务的高效方式实现。”

“某机构很早就有‘思想向量’概念：任何思想都可用向量表示。有趣之处在于，虽然任何事物都可用图表示，但要使其与深度学习模型协同工作，另一端也需能表示任何事物的载体——恰好就是向量。因此我们可以在两者间建立映射。”

交互式学习的挑战

假设深度学习范式继续吸收其他计算方法，Ström认为该范式的主要缺陷在于学习效率低下。毕竟人类不需要百万个示例来学习识别新动物。

当学习过程涉及计算机群在自身硬盘存储数据上持续运算数天或数周时，这种低效尚可接受。但如果AI智能体试图通过与世界直接交互来学习，则完全不切实际。在Ström看来，这类交互式学习是当前AI面临的主要研究挑战之一。

“深度学习系统不具备我们拥有的先验知识。它不知道图像中的狗生活在三维世界中可以旋转，我们因假设其对称而知道另一侧的样子。当然，网络正被专门训练以处理这类任务——旋转狗以查看背面。但主要仍通过数据训练学习。若已知对称性，可使用CGI生成数据：拥有狗模型后旋转它作为训练数据输入，系统将学习3D世界和旋转狗的概念。”

“该领域可能需要算法创新。但我持乐观态度。这是进化过程：全球众多研究者在此领域工作，即使带有随机性，总会有人提出好想法，这些想法将相互结合，最终我们会有所突破。”