云中负责任地运行AI工作负载：从可用性到可问责性

AI无处不在，从个人助手到自主系统，而云服务是其基础支撑。强大能力带来实际运营难题。云平台作为主要平台支持大规模AI工作负载的托管和训练，但其管理面临特定运营挑战。工程师和架构师需要解决系统可用性、可靠性、可观测性和责任性等关键问题。以下讨论审视这些运营挑战并提供有效解决方案。

可用性：超越计算能力

AI工作负载的计算密集型特性需要专用集群组（DCGs）来确保性能。集群需保持在同一邻近组中以减少延迟，从而避免多区域分布。财务限制通常决定集群规模，导致需求增加时 scalability 降低。集群配置和更新过程因全球硬件短缺而变得困难。识别可用性问题仍然难以完成。缺乏内置诊断工具和依赖外部供应商导致服务中断时间延长。云提供商为需求增长提供缓冲容量，但此功能需要额外费用。

增强内部调试能力将减少对服务集成商的依赖并缩短修复时间，从而提高可用性。基于AI的预测系统能够预测即将出现的容量不足，可在区域或数据中心级别进行跟踪。主动库存管理结合加速硬件构建有助于减少运营限制。利用非高峰作业执行和可抢占实例处理非关键任务的 workload 调度，可在不牺牲成本效益的情况下实现更好的资源利用。

可靠性：在中断前预防故障

工作负载可靠性需要最小化中断，同时减少性能下降和故障。训练和推理作业因网络或存储层的不稳定问题而遭受严重性能下降。平台升级和补丁如果在测试期间未得到适当验证，可能导致回归。

现代组织使用机器学习模型在故障发生时检测并预防其发生。这些模型与"左移"策略协同工作，在早期生命周期阶段执行硬件压力测试以检测部署就绪问题。更好的诊断工具能够正确识别故障，从而减少错误故障分配和重复故障发生。

通过优先使用空节点并在维护期间安排更新的部署方法，可以更受控地部署，从而最小化对客户工作负载的风险。结合这些策略将帮助组织加强托管AI工作负载的堆栈的整体可靠性。

可观测性：在大规模噪声中理清头绪

随着AI系统复杂性和需求的增长，管理可观测性变得更加具有挑战性。未来几年，云AI业务预计将增长，导致专用数据中心数量增加。这将导致来自所有云服务、客户AI工作负载、AI模型和硬件的遥测数据增加。如此大量的遥测数据可能嘈杂，使云提供商难以识别相关信号并得出可操作的见解。此外，延迟警报或不充分的实时监控会导致检测和缓解平台问题延迟，从而导致客户体验不佳。

为解决这些挑战，云提供商需要改进可观测性堆栈。大力投资AIOps以实时监控基础设施，并构建基于机器学习的AI驱动异常检测规则，将实现更快的检测和缓解。此外，端到端可观测性平台将有助于跟踪计算、存储和网络层的遥测数据。这将为快速诊断问题提供急需的上下文。这些能力将有助于推动更顺畅的操作、更快的事件响应和更好的平台稳定性。

责任性：构建符合伦理的AI系统

基于云的AI提供商在管理AI模型所需数据时需要更加负责和符合伦理。它们需要确保公平性、可问责性和数据隐私，同时做出影响现实场景的AI决策。此外，必须主动检测和缓解训练数据或模型输出中的偏见。

云提供商正在跨利益相关者建立透明度，确保他们理解AI系统如何做出决策。为实现这一目标，公司正在构建可解释的模型并维护有关模型决策的日志和遥测数据。此外，云AI公司正在投资治理框架，如微软的AETHER委员会或谷歌的AI原则，这些正成为伦理监督的行业标准。

公司遵守严格的数据保护政策，限制未经同意使用客户数据进行模型训练。组织还投资于培训、认证和文档，以促进负责任AI开发的文化。诸如Azure的公平性工具包、SageMaker Clarify和Vertex AI Fairness等工具提供了识别和纠正AI模型偏见的实用方法。

结论

未来几年，使用云平台托管AI工作负载将大幅增加。如此高速的AI增长要求公司投资于可用性、可靠性、可观测性和责任性支柱。通过基础设施、工具、流程和治理的正确结合，云可以成为下一代智能、弹性AI系统的基础。