纽约大学低成本开源网络助力科研发展
在ONUG人工智能网络峰会上,纽约大学展示了如何通过开源网络替代传统网络,为研究应用实现低延迟和更高速度。
网络瓶颈的挑战
2017年,纽约大学发现其网络无法处理研究应用所需的海量数据。据纽约大学研究技术高级科学家Robert Pahle介绍,学校需要创建一个能够容纳海量数据传输的网络。
在项目初期,学校尝试采用传统方法构建网络,但很快意识到需要更灵活的解决方案。传统交换机无法提供研究人员与合作伙伴协作所需的详细网络数据,这种需求促使纽约大学转向创建开源网络。
什么是开源网络?
开源网络是一种将硬件与软件解耦的网络构建方法。企业可以使用商用硬件(更便宜、可互换的硬件)和开放标准,从而更灵活地选择适合特定需求的硬件组件。
Celestica首席技术官Gavin Cato表示,网络正在经历从专有硬件的模块化系统向商用硬件的可定制开放网络转型,这种转变类似于电信行业的发展历程。
纽约大学向开源网络的转型
在为其研究应用规划新网络时,纽约大学面临传统网络的两个主要问题:
- 可扩展性:大多数传统网络硬件无法有效扩展,无法满足高带宽、低延迟应用需求
- 成本:能够更好满足需求的大型专有交换机在升级项目中成本效益不高
核心问题在于纽约大学需要构建一个灵活、可扩展且高性能的网络,同时还要控制成本。这促使学校决定使用小型精简设备构建开放网络。
开源网络解决实施挑战
克服硬件限制
在构建开源网络之前,学校难以为研究人员提供高速网络支持。虽然能够提供100千兆端口,但桌面计算机无法支持如此高的速度。
创建开源网络后,学校建立了实验室来测试架构对变化的响应。基于开源硬件,纽约大学能够使用先进芯片支持研究应用。
通过附加服务实现扩展
使用小型精简设备构建的架构形成了极速网络。为解决扩展问题,纽约大学在基础设施中分布式部署了多个存储服务,网络往返延迟仅为400微秒。
除了存储服务,纽约大学还在每栋建筑中添加边缘计算节点。这种经济高效的方法使学校能够构建一个高性能服务器,建立共享基础设施。
“这一切都得益于这个超级灵活的开源基础设施,“Pahle总结道。