ICLR：表征学习在数据中心的意义

直到相对较晚的时期，机器学习研究的一个主要关注点是特征工程，即确定机器学习模型输入数据中哪些方面对当前任务最有用。特征工程通常需要领域专业知识：视觉科学家识别图像的重要特征，语言学家识别语音的重要特征等等。

国际学习表征会议（ICLR）的成立是为了研究一种替代方案：直接从数据中学习特征。这种方法推动了深度学习革命，在其成立九年后的今天，ICLR已从机器学习的边缘走向主流的核心。

Aravind Srinivasan是一位某中心学者，马里兰大学的杰出大学教授，也是今年ICLR的分区主席。在某中心的工作中，他将表征学习应用于一个在ICLR成立时似乎遥不可及的环境：数据中心。

函数服务的表征学习

Srinivasan主要致力于某中心Web服务Lambda服务，该服务提供函数执行服务。“您可以将函数视为简单的代码片段，“Srinivasan解释说，“如果我们能够学习输入的表征，包括函数本身、它们的形状”——即随时间变化的资源消耗——“它们运行的频率、何时被调用、终止速度、是否有严格的截止期限或宽松的截止期限，就可以利用这些数据进行各种优化，包括在线优化和长期规划。”

例如，Srinivasan解释道：“函数可能是尖峰型的：其CPU利用率可能在某段时间飙升，然后相对较低维护一段时间，再次飙升。如果能够理解这些形状，就可以将相关函数聚类在一起。”

“通常希望将所谓的反相关函数聚类在一起。如果有函数F1和F2，当F1飙升时F2不会飙升，反之，当F1下降时F2飙升，将它们打包到同一个工作节点上会更好，因为它们不会同时需要大量资源反弹。”

“或者假设要推出新服务。希望能够预测，例如，其成功率是多少。可以使用机器学习预测哪些类型的作业最受欢迎，也许哪些类型的作业在一年中的哪些时间、一周中的哪些天更受欢迎等等。我们可以明确询问客户，但也需要自己的预测模型来讨论新预期服务的成功概率。”

“然后是学习后的另一个重要流程，即如何利用这些预测进行更好的资源规划、更好的资源分配，如何为不同客户提供有保证的服务质量等等。”

机器学习与算法设计的结合

利用学习表征的后处理流程的想法触及了Srinivasan在某中心和学术实验室研究的核心主题：机器学习与算法设计的交叉点。

“在机器学习的内部以及作为后处理甚至预处理步骤，机器学习都非常有帮助，“Srinivasan说。“例如，人们越来越意识到并关注我们的模型正变得非常非常大。当然，计算时间是个问题，但这些模型的碳足迹也变得不容忽视。如果一个模型在多核上运行多天，其消耗的能量是相当可观的。”

“那么我们能否使模型更高效？能否将神经网络架构视为约束优化问题，在保持准确性的同时使神经网络推理更快，并提供其他类型的保证？例如，能否将公平性融入神经网络的运行方式中？”

公平性与科学挑战

Srinivasan表示，公平性是近年来获得动力的研究主题。当他浏览今年ICLR的议程时，对公平性的新强调是引人注目的变化之一。

“某中心在这方面发挥着领导作用，“Srinivasan说。“某中心与国家科学基金会合作，为从事公平性和AI研究的人员提供资助。在ICLR等论坛以及其他主要机器学习和AI会议上，关于公平性的论文数量正在增长。”

公平性也是在尝试为某中心客户提供更好服务背景下出现的有趣科学问题的很好例子。

“某中心是一个真实的沙盒，在这里得出的推论对公司和科学界都具有巨大价值，“Srinivasan说。“这里有机会开发新科学，也有机会以有趣的方式应用已知科学，在某些情况下处理高度多模态数据。存在非常有趣的科学和技术挑战，也有非常有趣的实际挑战。我并不是说这些是分开的：它们当然相互交织。因此，对于对大型数据集、数据预测中的不确定性、预测模型、表征学习等感兴趣的人来说，这里有一个可以解决非常重要实际问题的环境。”