KServe成为CNCF孵化项目

CNCF技术监督委员会（TOC）已投票决定接受KServe作为CNCF孵化项目。KServe加入了一个不断增长的技术生态系统，致力于解决云原生基础设施边缘的现实挑战。

什么是KServe？

KServe是一个标准化的分布式生成式和预测式AI推理平台，用于在Kubernetes上实现可扩展的多框架部署。它被设计为在Kubernetes上统一处理生成式和预测式AI推理的单一平台。KServe既简单到可以快速部署，又强大到能够处理具有高级功能的企业级AI工作负载。

关键里程碑和生态系统增长

KServe起源于2019年，由Google、IBM、Bloomberg、NVIDIA和Seldon在Kubeflow项目下合作开发。随后于2022年2月捐赠给LF AI & Data基金会。2022年9月，项目从KFServing更名为独立的KServe，并从Kubeflow毕业。KServe随后于2025年9月进入CNCF作为孵化器项目。

KServe在不同行业和地区展示了持续增长的应用，生产部署范围从大规模多云企业平台到专业内部AI基础设施。该项目被主要组织使用，包括Bloomberg、Red Hat、Cloudera、CyberAgent、Nutanix、SAP、NVIDIA等，涵盖企业软件、云基础设施、在线媒体、游戏和金融服务等领域。部署支持大规模的生成式和预测式AI工作负载。用例涵盖多云企业AI平台、大型GPU集群、内部开发者平台和超大规模无关服务，在某些情况下服务于数千个租户。

跨云原生生态系统的集成

KServe与许多CNCF项目无缝连接，包括：

• Kubernetes：KServe本质上是一个在Kubernetes上可扩展的多框架部署平台。它使用Kubernetes自定义资源定义（CRD）简化ML模型部署。
• Envoy：KServe v0.15引入了对Envoy AI网关的初步支持，这是一个基于Envoy构建的CNCF开源项目。
• Kubeflow：KServe于2019年在Kubeflow项目下通过Google、IBM、Bloomberg、NVIDIA和Seldon之间的合作起源。
• vLLM：KServe v0.15中显著增强了vLLM后端，以更好地服务生成式AI模型。
• llm-d：KServe提供与llm-d的集成，通过新的LLMInferenceService CRD支持分离式服务、前缀缓存、智能调度、变体自动扩展等。
• LMCache：KServe集成LMCache库用于分布式键值（KV）缓存。
• Kubernetes Gateway API：KServe支持Kubernetes Gateway API，同时与Envoy Gateway集成。
• Knative：KServe通过其Knative集成支持无服务器部署，提供基于请求量的自动扩展，并支持缩容到零和从零扩容以及金丝雀发布。
• Istio：KServe与Istio集成，能够利用服务网格功能。
• 广泛的服务运行时：KServe是一个多框架平台，支持流行的预测式AI框架，包括TensorFlow、PyTorch、scikit-learn、XGBoost、ONNX等。

技术组件

• KServe：协调KServe CRD和其他Kubernetes对象的主要Kubernetes控制器。
• ModelMesh：一个成熟的多用途模型服务管理路由层，专为高规模、高密度和频繁变化的模型用例设计。
• 开放推理协议：定义了一个标准协议，用于在不同ML框架的服务运行时之间执行机器学习模型推理。

社区亮点

• 4.6k+ GitHub星标
• 2400+拉取请求
• 2.1k问题
• 300+贡献者
• 40+版本发布
• 19维护者
• 30+公司采用者，从供应商到最终用户

维护者观点

“我们将KServe项目带入CNCF孵化的旅程证明了社区对Kubernetes上模型服务的奉献。我们从一个创建开放和标准化推理平台的愿景开始，现在，随着生成式AI采用的快速普及，这一愿景比以往任何时候都更加关键。KServe独特地定位为解决服务大型语言模型（LLM）复杂挑战的方案，为社区提供强大、可扩展和成本效益高的解决方案。它迁移到CNCF将为项目提供一个供应商中立的家园，并为我们在共同构建AI推理未来的过程中提供清晰的合作路径。”

— Dan Sun，KServe联合创始人兼工程团队负责人，Bloomberg云原生计算服务-AI推理工程

“这标志着KServe社区的一个重要里程碑，也是云原生模型服务向前迈出的重要一步。看到KServe被这么多组织采用，并见证AI和云原生项目之间的持续合作，令人鼓舞。我们很高兴能继续基于这一势头，并在更广泛的云原生生态系统中深化我们的合作。衷心感谢所有为这一成就做出贡献的人！”

— Yuan Tang，KServe项目负责人，Red Hat高级首席软件工程师

TOC观点

“KServe作为一个真正体现云原生精神的项目脱颖而出——技术强大、社区驱动且深度协作。在整个孵化尽职调查过程中，我对其架构、治理和采用模式的成熟度印象深刻。维护者始终响应迅速并对反馈持开放态度——这种信任和参与是罕见且宝贵的。

在技术方面，KServe与Envoy、Knative和Gateway API的丰富集成使其在CNCF生态系统中强大地锚定。它对多节点推理、自动扩展（包括缩容到零）、推理管道、路由和模型可解释性的支持表明该项目是为企业级AI工作负载构建的。社区的欢迎性质使新贡献者和采用者容易参与，这充分说明了其健康性和包容性。

看到越来越多的最终用户——从初创公司到大型企业——积极采用KServe并为其演进做出贡献，也令人鼓舞。我很荣幸欢迎KServe进入孵化，并期待这个充满活力的社区继续塑造云原生环境中AI推理的未来。”

— Faseela K，CNCF TOC赞助人

“现代AI工作负载日益增长的复杂性推动了对Kubernetes上强大、标准化模型服务平台的迫切需求。KServe作为孵化项目被CNCF接受突显了这一需求。其对可扩展性的关注，特别是大型语言模型的多节点推理，是为云原生AI基础设施提供高效服务和部署解决方案的关键。我们期待这一里程碑能催化CNCF生态系统内的进一步创新，推进云原生技术如何赋能跨行业的智能工作负载。”

— Kevin Wang，TOC赞助人

展望未来

KServe将不断改进其现有的预测式和生成式推理功能。为了满足对GenAI应用日益增长的需求，KServe的目标是演进为一个完全抽象、弹性的推理平台，用户只需专注于模型和前/后处理，而KServe处理编排、扩展、资源管理和部署。

作为CNCF托管项目，KServe是与其中立基金会技术利益一致的一部分，也是更大的Linux基金会的一部分，提供治理、营销支持和社区推广。KServe加入了孵化技术Backstage、Buildpacks、cert-manager、Chaos Mesh、CloudEvents、Container Network Interface（CNI）、Contour、Cortex、CubeFS、Dapr、Dragonfly、Emissary-Ingress、Falco、gRPC、in-toto、Keptn、Keycloak、Knative、KubeEdge、Kubeflow、KubeVela、KubeVirt、Kyverno、Litmus、Longhorn、NATS、Notary、OpenFeature、OpenKruise、OpenMetrics、OpenTelemetry、Operator Framework、Thanos和Volcano。有关每个级别成熟度要求的更多信息，请访问CNCF毕业标准。