Windows ML全面上市:赋能开发者在Windows设备上扩展本地AI

Windows ML现已全面上市,为开发者提供优化的本地AI推理运行时,支持跨CPU、GPU和NPU部署ONNX模型,简化模型依赖管理,实现更高效、安全且响应迅速的AI体验。

Windows ML全面上市:赋能开发者在Windows设备上扩展本地AI

AI的未来是混合式的,利用云和客户端的各自优势,同时利用每台Windows设备实现更多功能。在微软,我们通过将强大的AI计算直接引入Windows设备,重新构想了可能性,开启了一个在您所在位置运行智能的新时代。随着硅技术的突破性进步、现代化软件堆栈和深度的操作系统集成,Windows 11正在转变为世界上最开放、能力最强的本地AI平台。

今天我们很高兴地分享,Windows ML现已全面上市,可供生产使用,以帮助开发者在不断发展的AI环境中部署生产体验。Windows ML首次在Build 2025上推出,是内置的AI推理运行时,针对设备上的模型推理进行了优化,并简化了跨CPU、GPU和NPU的模型依赖管理,作为Windows AI Foundry的基础,并被Foundry Local使用,以扩展硅支持,该功能于今日发布。

通过利用我们活跃的硅合作伙伴生态系统中的CPU、GPU和NPU的力量,并基于ONNX的强大势头,Windows ML使开发者能够在设备上直接提供实时、安全且高效的AI工作负载。这种在本地运行模型的能力使开发者能够构建更响应、更私密且更具成本效益的AI体验,覆盖最广泛的Windows硬件用户。

自带模型并在Windows上安全、本地、高效地跨硅部署

Windows ML与ONNX Runtime(ORT)兼容,允许开发者使用熟悉的ORT API,并便于现有生产工作负载的轻松迁移。Windows处理ORT和执行提供程序的分发和维护,从应用程序开发者那里承担了这一责任。执行提供程序(EPs)是核心运行时与强大且多样化的硅生态系统之间的桥梁,使得在AMD、Intel、NVIDIA和高通的不同芯片上能够独立优化模型执行。以ONNX作为其模型格式,Windows ML与当前模型和工作流程平滑集成。开发者可以轻松使用他们现有的ONNX模型,或通过AI Toolkit for VS Code转换和优化他们的源PyTorch模型,并部署到Windows 11 PC上。

Windows ML堆栈图

虽然AI开发者使用各种模型,但Windows ML充当硬件抽象层,提供若干好处:

  • 简化部署:我们的基础设施API允许开发者通过利用设备上可用的执行提供程序或动态下载它们,来支持各种硬件架构,而无需多个应用程序构建。开发者还可以灵活地提前预编译他们的模型,以提供简化的最终用户体验。
  • 减少应用开销:Windows ML自动检测用户的硬件并下载适当的执行提供程序,消除了在开发者应用程序中捆绑运行时或EPs的需要。这种简化的方法在针对广泛设备时,为开发者节省了数十到数百兆字节的应用大小。
  • 兼容性:通过与我们的硅合作伙伴合作,Windows ML旨在保持一致性和兼容性,支持持续更新,同时通过认证过程确保不同构建间的模型准确性。
  • 高级硅目标定位:开发者可以分配设备策略以优化低功耗(NPU)、高性能(GPU)或指定用于模型的硅。

有关Windows ML的更技术性深入探讨,请在此处了解更多。

Windows ML,与我们的硅合作伙伴合作优化最新硬件

Windows 11拥有一个多样化的硬件生态系统,包括AMD、Intel、NVIDIA和高通,并涵盖CPU、GPU和NPU。消费者可以从一系列Windows PC中选择,这种多样性使开发者能够创建创新的本地AI体验。

我们与我们的硅合作伙伴密切合作,确保Windows ML能够充分利用他们最新的CPU、GPU和NPU进行AI工作负载。这种方式是硅合作伙伴构建和维护执行提供程序,Windows ML分发、管理并注册这些提供程序,以在设备上高性能地运行AI工作负载,作为开发者的硬件抽象层,并为每个特定硅获得最佳性能的方式。

  • AMD 已在其Ryzen AI平台中集成了Windows ML支持,使开发者能够通过AMD在NPU、GPU和CPU上的专用Vitis AI执行提供程序来利用AMD硅的力量。了解更多
  • Intel 的EP将OpenVINO AI软件的性能和效率与Windows ML结合,使AI开发者能够轻松选择在Intel Core Ultra处理器驱动的PC上为其AI工作负载选择最佳的XPU(CPU、GPU或NPU)。了解更多
  • NVIDIA 的TensorRT for RTX EP使AI模型能够在NVIDIA GeForce RTX和RTX PRO GPU上使用NVIDIA的专用Tensor Core库执行,以获得最大性能。这种轻量级EP为系统的特定RTX GPU生成优化的推理引擎——关于如何运行AI模型的指令。了解更多
  • Qualcomm Technologies 和微软合作,使用Qualcomm神经网络执行提供程序(QNN EP)以及通过与ONNX Runtime EPs集成在GPU和CPU上,优化了针对Snapdragon X系列NPU的Windows ML AI模型和应用。了解更多

在Windows软件生态系统中启用本地AI

在开发Windows ML时,我们优先考虑了构建AI驱动功能的应用程序开发者的反馈。我们之前与应用程序开发者合作,在公开预览期间测试了与Windows ML的集成。

领先的软件应用程序开发者,如Adobe、BUFFERZONE、Dot Inc.、McAfee、Reincubate、Topaz Labs和Wondershare等,正在其即将发布的版本中采用Windows ML,加速了本地AI能力在广泛应用程序中的普及。通过利用Windows ML,我们的软件合作伙伴可以专注于构建独特的AI驱动功能,而无需担心硬件差异。他们的早期采用和反馈显示了向本地AI的强劲势头,实现了更快的开发,并在各种用例中解锁了新的本地AI体验:

  • Adobe Premiere Pro和Adobe After Effects – 在即将发布的版本中,加速媒体库内容的语义搜索,按类型标记音频段,并检测场景编辑,全部由本地NPU驱动;计划逐步将完整的现有设备上模型库迁移到Windows ML。
  • BUFFERZONE 实现实时安全网页分析,保护用户免受网络钓鱼和欺诈,而无需将敏感数据发送到云端。
  • Reincubate的Camo 利用实时图像分割和其他ML技术,在使用所有硅提供商的NPU时,提高流媒体和演示时的网络摄像头视频质量。
  • Dot Inc.的Dot Vista 支持无障碍场景中的免提语音控制和光学字符识别(OCR),包括在医疗环境中使用Copilot+ PC中的NPU进行部署。
  • Wondershare的Filmora 使用针对AMD、Intel和高通平台上的NPU加速优化的AI驱动身体效果,包括实时预览和应用如闪电缠绕、霓虹环和粒子环绕等身体效果。
  • McAfee 使用自动检测深度伪造视频和其他可能在社交网络上遇到的诈骗向量。
  • Topaz Labs的Topaz Photo 是一个专业级图像增强应用程序,让摄影师能够锐化细节、恢复焦点并调整每张照片的级别——全部由AI驱动。

简化的Windows ML工具

开发者可以通过一套强大的工具开始利用Windows ML,以简化模型部署。AI Toolkit for VS Code提供了强大的模型和应用准备工具,包括从PyTorch转换ONNX、量化、优化、编译和评估——全部在一个地方。这些功能使得使用Windows ML准备和部署高效模型更加容易,消除了多个构建和复杂逻辑的需要。从今天开始,开发者还可以在AI Dev Gallery中尝试使用Windows ML的自定义AI模型,该画廊提供了一个交互式工作区,使得使用本地模型发现和实验AI驱动场景更加容易。

立即开始

随着Windows ML全面上市,Windows 11提供了一个适用于生产应用程序的本地AI推理框架。Windows ML包含在Windows App SDK中(从版本1.8.1开始),并支持所有运行Windows 11 24H2或更新版本的设备。

要开始使用Windows ML进行开发:

  • 更新您的项目以使用最新的Windows App SDK
  • 调用Windows ML API来初始化EPs,然后加载任何ONNX模型,并在几行代码内开始推理。有关详细教程、API参考和示例代码,请访问ms/TryWinML
  • 要交互式地尝试使用Windows ML的自定义AI模型示例,请在ms/ai-dev-gallery尝试AI Dev Gallery

使用Windows ML开发本地AI解决方案

Windows开发始终是关于使开发者能够通过软件和硬件做更多事情。Windows ML让新老开发者都能轻松构建AI驱动的应用程序,专注于创新并减少应用大小。我们微软很高兴看到您将在Windows 11 PC上使用Windows ML创造哪些新体验。智能、AI增强的Windows应用程序时代已经到来——并且对每个开发者都可用。让我们与Windows ML一起迎来这一创新新浪潮!

编辑注 – 2025年9月24日 – 更新以反映在高通Snapdragon Summit上的公告,并更正McAfee的链接。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计