GPU利用效率：从资源短缺到优化分配

引言

在人工智能快速发展的今天，许多组织都在努力获取足够的GPU资源来训练和运行模型。然而，真正的挑战可能不是GPU的短缺，而是利用效率的问题。

GPU短缺的误解

市场低效与防御性采购

当前GPU市场存在一个普遍误解：人们认为存在GPU短缺。但实际上，市场上有大量可用的计算容量，真正的问题在于市场低效和技术挑战阻碍了人们有效访问和使用这些资源。

防御性采购是导致资源利用率低下的关键因素之一。组织倾向于为其峰值需求配置资源，锁定未来可能需要的容量，而不是根据实际需求动态扩展和释放资源回公共池。

云计算承诺的未实现

公共云的原始承诺是容量具有弹性，用户无需严格进行容量规划，也不必为固定容量付费。然而，在AI领域，这一特性尚未得到充分扩展。

GPU分配的技术挑战

并行计算与拓扑约束

GPU工作负载，特别是大语言模型工作负载，具有独特的特点。这些模型通常需要比单个最先进服务器所能提供的更多的GPU内存来保存权重和参数。

在这种大规模场景下，节点并非完全可互换。需要考虑连续性、节点邻近性和高带宽互连等因素。GPU分配因此成为一个复杂的优化问题，类似于俄罗斯方块，而非简单的独立单元销售。

虚拟化工具的局限性

许多标准的虚拟化工具不能直接应用于GPU。在GPU和GRES环境中实现完整性能需要额外的工作来适配虚拟机、网络接口卡等组件。

创新解决方案

动态调度与定价模型

基于优先级的抢占系统

通过将抢占性和优先级概念推向极致，构建一个使用拍卖作为拥塞控制机制的系统。该系统能够跨不同SKU映射工作负载，考虑硬件异构性、位置优势和合规认证等因素。

工作负载特定定价

不同于固定的每小时GPU价格，应该考虑为工作负载定价。工作负载提供的灵活性越大（如可抢占性、灵活的SLA、无强连续性要求），就能获得更好的经济效益。

全云平台策略

Omni Cloud概念

现代用户通常是多云甚至混合云（包括本地部署）的使用者。在GPU环境中，采用全云策略尤为重要，因为GPU成本主要是资本支出而非运营支出。

通过在不同云的抢占实例上运行工作负载，在有机会获得经济优势时获取预留实例，并具备迁移工作的灵活性，可以显著优化资源利用。

硬件策略与模型优化

新旧GPU的协同使用

硬件生命周期管理

GPU的总拥有成本主要由资本支出决定。随着Nvidia每六个月推出新的芯片SKU，有效管理芯片使用寿命变得至关重要。

分层模型策略

• 大规模训练：使用最新、最强大的GPU
• 批量推理：可使用较旧的GPU运行蒸馏后的模型
• 专业模型：针对特定领域优化的较小模型可在较旧的GPU上高效运行

推测解码技术

即使是服务大型模型，也通常伴随着一个较小的"草稿"模型，通过推测解码技术加速推理过程。这种多模型组合策略已成为标准实践。

未来展望

随着AI工作负载的不断发展，GPU资源的高效利用将成为推动技术进步的关键因素。通过创新的调度策略、弹性定价模型和全云架构，我们有望实现真正的资源民主化，让各种规模的组织都能充分利用AI技术的潜力。

本文基于Stack Overflow Podcast对Mithril CEO Jared Quincy Davis的访谈整理，探讨了GPU资源利用的现状、挑战和解决方案。