机器学习与系统融合的技术前沿

本文探讨机器学习与计算机系统设计的交叉领域,包括系统优化对机器学习效率的提升、机器学习在资源调度中的应用,以及芯片与编译器层面的技术创新,旨在弥合两个领域之间的鸿沟。

MLSys 2021:弥合机器学习与系统之间的鸿沟

某中心杰出科学家兼会议主席Alex Smola阐述了MLSys在主题和文化上的独特性。

随着深度学习革命的扩展,MLSys的成立旨在弥合两个经常独立工作的社区:机器学习研究人员和系统开发者。这两个社区彼此之间有很多可以互相借鉴的地方。

系统为机器学习,机器学习为系统

在机器学习中,近似通常已经足够好,不一定需要系统提供如此好的保证。如果降低要求,可以更便宜、更快或更可扩展地完成任务。同时,随着深度学习的普及,很自然地会问它是否可以帮助分配计算机系统中的资源。

许多系统论文都在做这样的事情:决定是否启动机器、结束机器、为作业调度多少设备、何时判断机器故障、需要多少冗余等。因此,可以自问:既然这些是很多资源决策,是否可以使用机器学习来预测处理这些资源决策的最佳或至少更好的策略?

MLSys接受的论文涵盖了两个方向的研究:机器学习用于系统,以及系统用于机器学习。例如,会议中“通信与存储”环节的论文既包括如何廉价操作以促进更多机器学习,也包括如何使用机器学习使存储系统本身更好。

文化融合

MLSys不仅代表研究项目的合并,还代表文化的融合——这可能会引发一些活跃的讨论。在系统社区,除非你有一个真正可用的系统,否则他们不会认真对待你。这使得会议有点有趣,因为有两种不同的文化:机器学习文化更倾向于展示可能性的印象派绘画,而系统社区则更严谨,要求展示实际可用的东西,甚至可能有产品正在交付。这使得系统论文略带理论倾向,机器学习论文略带实证倾向。

在今年MLSys中,新增了为期一天的芯片与编译器研讨会,将机器学习系统设计的对话深入到芯片层面。该研讨会由某机构网络服务的高级首席科学家Mu Li组织。像Hot Chips和Cool Chips这样的活动,某中心、某机构等公司会展示最新的硅技术,但硅只是等式的一半。因此,我们认为这是将这两个社区更紧密结合的好地方。这是一项社区建设活动。

与过去一年的所有计算机科学会议一样,MLSys已移至在线举行。这样做的好处是大幅降低了注册价格——学生25美元,学者和专业人士100美元。这对任何人来说都非常实惠。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计