Kubernetes大规模AI推理:LLM-D与vLLM技术解析

本期播客深入探讨了Kubernetes生态中的大规模AI推理技术,重点介绍LLM-D推理网关和vLLM项目的架构实现,涵盖容器化集群管理、云原生平台构建以及加速AI/ML工作负载的最佳实践方案。

新闻动态

  • Kubernetes 1.34预计将于8月底发布
  • Kubecrash.io:具有明确目标的平台工程会议
  • CNCF 2025年度Top 30项目评选

特邀嘉宾

Clayton Coleman

  • Kubernetes核心贡献者
  • OpenShift开源平台即服务创始架构师
  • 推动云原生应用转型及支撑平台发展
  • 在Google致力于将Kubernetes和GKE打造为运行工作负载(特别是加速AI/ML工作负载)的最佳平台
  • 专注于通过推理网关和LLM-D实现大规模超大模型推理

Rob Shaw

  • RedHat工程总监
  • vLLM项目贡献者

技术资源

社区互动

欢迎分享创新想法或提出问题:

  • 官网:kubernetespodcast.com
  • 邮箱:kubernetespodcast@google.com
  • Twitter:@kubernetespod
  • Bluesky:@kubernetespodcast.com
comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计