ICLR：数据中心中的表征学习意义

直到相对近期，机器学习研究的一个主要关注点是特征工程，即确定机器学习模型输入数据中哪些方面对当前任务最有用。特征工程通常需要领域专业知识：视觉科学家识别图像的重要特征，语言学家识别语音的重要特征，等等。

国际学习表征会议（ICLR）的成立是为了研究一种替代方案：直接从数据中学习特征。这种方法推动了深度学习革命，在其成立的九年里，ICLR已从机器学习的边缘走向主流的核心。

Aravind Srinivasan 是某机构的学者，马里兰大学的杰出大学教授，也是今年 ICLR 的区域主席。他在某机构的工作中将表征学习应用于一个在 ICLR 成立时似乎遥不可及的环境：数据中心。

Srinivasan 主要致力于某机构 Web 服务的 Lambda 服务，该服务提供函数执行即服务。“你可以将函数视为一段代码，”Srinivasan 说。“如果我们能学习输入的表征，即函数及其‘形状’——也就是它们随时间的资源消耗——它们运行的频率、何时被调用、终止的速度、是否有严格的截止时间或宽松的截止时间，你可以利用这些数据进行各种优化，包括在线和长期规划。”

例如，Srinivasan 解释说：“函数可能是尖峰式的：它可能在某个时间段内突然增加 CPU 使用率，然后相对较低维护一段时间，再次尖峰。如果你能理解这些形状，你可以将相关的函数聚类在一起。”

“你通常希望将所谓的反相关函数聚类在一起。如果有函数 F1 和 F2，当 F1 尖峰时，F2 不会尖峰，反之亦然，当 F1 下降时，F2 尖峰，将它们打包到同一个工作节点上会更好，因为它们不会同时需要大量的资源反弹。”

“或者假设你有一个新服务要推出。你希望能够预测，例如，它的成功率会是多少。你可以使用机器学习来预测哪些类型的任务最受欢迎，也许哪些类型的任务在一年中的哪些时间、一周中的哪些天更受欢迎，等等。我们可以明确询问客户，但我们也希望有自己的预测模型，可以谈论新预期服务的成功概率。”

“然后是学习后的另一个重要管道，即如何利用这些预测进行更好的资源规划、更好的资源分配，如何为不同客户提供有保证的服务质量，等等。”

机器学习与算法设计的交汇

利用学习表征的后处理管道的想法触及了 Srinivasan 在某机构和学术实验室研究的核心主题：机器学习与算法设计的交汇。

“无论是在机器学习的内部，还是作为后处理甚至预处理步骤，机器学习都可以非常有帮助，”Srinivasan 说。“例如，越来越多的人意识到并担心我们的模型变得非常非常大。当然，计算时间是一个问题，但这些模型的碳足迹也变得不容忽视。如果一个模型在多核上运行多天，它所消耗的能量是不可忽视的。”

“那么我们能否使我们的模型更高效？我们能否将神经网络架构视为一个约束优化问题，在保留准确性的同时使神经网络推理更快，并提供其他类型的保证？例如，公平性能否融入神经网络的运行方式？”

Srinivasan 说，公平性是近年来获得动力的研究主题。当他浏览今年 ICLR 的议程时，对公平性的新强调是跳入他眼帘的事情之一。

“某机构在这方面扮演着领导角色，”Srinivasan 说。“某机构与国家科学基金会有合作，向从事公平性和人工智能工作的人发放资助。在 ICLR 等论坛以及其他主要机器学习和人工智能会议上，关于公平性的论文越来越多。”

公平性也是在尝试为某机构客户提供更好服务的背景下出现的有趣科学问题的好例子。

“某机构是一个真正的沙盒，其中提出的推断对公司和科学兴趣都具有巨大价值，”Srinivasan 说。“有机会既发展新科学，又以有趣的方式应用已知科学，处理某些情况下的高度多模态数据。有非常有趣的科学和技术挑战，也有非常有趣的实际挑战。我并不是说这些是分开的：它们当然相互交织。所以对于对大型数据集、数据预测中的不确定性、预测模型、表征学习等感兴趣的人来说，这里有一个环境，其中有非常重大的实际问题需要解决。”