NVIDIA DGX Spark:基于Ubuntu的开发者个人AI超级计算机

本文介绍了NVIDIA最新发布的DGX Spark AI开发工作站,这款基于Ubuntu的紧凑型设备可提供1 petaFLOP的AI性能,支持运行高达2000亿参数的大模型,为开发者提供从本地原型设计到云端部署的统一开发体验。

NVIDIA DGX Spark:基于Ubuntu的开发者个人AI超级计算机

计算发展的历史是一部充满巨变的史诗,但并非所有革命都以相同速度推进。从大型机小型化、微处理器发明到计算设备个人化,我们花费了数十年时间。如今,我们正在见证一个新时代:从大规模集中式AI集群向强大的设备端AI PC转型——而且这一转变正在以爆发式的速度发生。

NVIDIA DGX Spark:本地运行巨型AI模型

随着消费者对即时AI功能需求的增长,从大规模集中式GPU集群向设备端AI的转型正在快速推进。NVIDIA刚刚宣布为AI开发者推出DGX Spark。该系统从头开始就为构建和运行AI而设计。

NVIDIA DGX Spark为开发者带来了巨大的计算能力。它以高能效的紧凑设计提供1 petaFLOP的AI性能。凭借128 GB统一系统内存、Blackwell GPU和配备20个ARM核心的Grace CPU,它可以处理高达2000亿参数的AI模型。通过使用NVIDIA ConnectX网络技术,两个DGX Spark系统可以连接起来共同处理高达4050亿参数的更大模型。这为本地大型模型的原型设计、微调和推理提供了强大平台。

DGX Spark为AI开发者提供完整的解决方案堆栈,包括NVIDIA AI软件堆栈以加速AI工作负载,并支持庞大的第三方开发者生态系统。

Ubuntu作为DGX OS的基础

NVIDIA DGX Spark操作系统DGX OS基于Ubuntu构建。DGX OS利用Ubuntu成熟的生态系统和可信软件仓库来加速开发。Ubuntu生态系统带来了多年在软件堆栈方面的开源成熟度,特别是围绕CUDA运行时和CUDA开发工具的软件堆栈。Canonical通过持续维护更新、修补数千个开源软件包并及时处理CVE漏洞,帮助确保安全的计算环境。

Ubuntu为DGX OS的开发者体验带来三大核心支柱:

1. Ubuntu服务器与桌面版使用相同内核

由于Ubuntu服务器和桌面版共享相同的内核核心,它们并非独立的操作系统。这种统一基础允许开发者在桌面版上安装服务器软件包,反之亦然。因此,Ubuntu桌面版能够受益于Ubuntu服务器上CUDA生态系统多年来的成熟发展。在大型云集群上运行的AI工作负载可以在DGX OS上使用完全相同的软件堆栈,创造出一致且稳定的开发环境。

2. Ubuntu对Arm架构的支持

Canonical自2011年起就支持Arm处理器,确立了Ubuntu作为服务器和设备端AI可扩展平台的地位。这种对64位Armv8架构长期且一致的支持,确保了采用基于ARM的Grace CPU的NVIDIA DGX Spark从发布起就获得全面支持。

3. 成熟的软件包分发和供应链安全

DGX OS利用Ubuntu成熟的软件包管理和弹性软件供应链,成为生产就绪的平台。它继承了可信软件仓库,确保软件经过验证。此外,通过Ubuntu Pro提供的Canonical扩展安全维护(ESM)为开源软件包提供及时的安全补丁,这对AI和数据科学工作负载至关重要。

通过在Ubuntu上构建DGX OS,NVIDIA能够将运行在云服务器上的相同软件应用于紧凑型桌面设备。这得益于Ubuntu对Arm处理器的成熟支持及其安全设计的软件供应链,这些因素共同创造了稳定、生产就绪的平台,并显著加快了开发进程。

统一的开发者体验

NVIDIA AI平台软件架构使DGX Spark用户能够轻松将其模型从桌面迁移到DGX Cloud或任何加速云或数据中心基础设施,从而更轻松地进行原型设计、微调和迭代。

为给开发者提供熟悉的体验,NVIDIA DGX Spark采用了与工业级AI工厂相同的软件架构。它预配置了最新的NVIDIA AI软件堆栈,以及开发者对NVIDIA NIM™和NVIDIA Blueprints的访问权限。这意味着开发者可以立即开始使用领先的开源AI模型和常用工具(如PyTorch、Jupyter和Ollama)在NVIDIA DGX Spark上进行原型设计、微调和推理,并轻松部署到数据中心或云端。通过DGX Spark,开发者可以从熟悉的环境中受益,并通过设置向导获得简化的设置体验,确保快速上手。

展望未来

NVIDIA DGX Spark的推出标志着桌面AI计算领域一个激动人心的里程碑。随着AI持续改变行业并推动创新,像DGX Spark这样的工具将在 democratizing 强大AI开发资源的访问方面发挥关键作用。在Canonical,我们很高兴继续与NVIDIA合作,通过强大的开源解决方案支持AI社区,为下一代AI突破提供动力。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计