在最初对人工智能（包括生成式和代理式AI实施）项目进行一系列投资之后，许多组织正面临结果不一的情况，并对AI的效用做出草率结论。早期实验的严酷现实削弱了预期的生产力提升和新收入流。最近一份MIT报告表明，尽管对生成式AI投资了300亿至400亿美元，95%的组织实现零回报。因此，毫不奇怪，Gartner在其2025年炒作周期中将生成式AI置于"幻灭低谷"中。当组织未能从技术投资中看到即时投资回报率时，原因通常不是技术本身，而是期望不匹配、应用不协调以及执行不力或未经测试的实施实践的组合。当组织期望技术成为在很短时间内提供回报的"灵丹妙药"时，失败往往就会出现。成功或失败的明确判断需要识别可行的用例、定义适当范围、确定ROI的含义，并根据该ROI评估进展。

AI（包括机器学习和生成式AI）的快速发展一直在挑战组织重新思考其业务开展方式，以及在哪里可以利用AI来提高效率、生产力和价值，同时降低成本。然而，仅仅将AI集成到组织实践中不足以实现这些目标。

SEI正在研究组织如何采用AI，以及他们可以使用什么方法来衡量和改进其采用以实现长期成功。我们要求组织在其AI采用旅程中考虑的一些主要问题包括：“采用AI的成功定义是什么？““我需要发展什么样的能力？“以及"我应该遵循什么路线图来实现这些目标？“我们在这篇文章中更详细地探讨了组织可以开始回答这些问题的一些方法。

重新思考AI采用：知道在哪里利用优势

在解释AI承诺与性能之间的差距时，我们可以指出许多实践和假设，但很明显，鉴于许多组织在AI采用旅程中所处的位置，他们需要从炒作驱动的实验转向关注基础能力和实际、可衡量的成果。利用AI的愿望需要成熟为实施有效AI技术的结构化路线图，通常通过更深入地检查和重新设计工作流程来实现。不知道如何将AI用作创新工具的组织可能会创建一个低效（且昂贵）的、注入AI的过程。例如，关于在软件工程中使用生成式AI助手的初步发现表明，虽然这些工具可以帮助有经验的开发人员，但仅使用工具不太可能实现理想的生产力和质量改进。有意义的进步将来自重新思考工作流程和重新设计流程，而不是将AI解决方案应用于现有任务。将AI应用于软件工程之外的任务和工作流程也提出了类似的问题：哪些支持工具可以增强流程，AI在哪里增加最大价值，以及重新思考工作流程、工件和流程如何放大其影响？

组织和工程能力

如今，几乎所有组织都是软件和IT密集型的。采用或开发AI支持的系统和工作流程不纯粹是AI模型选择或工具问题，而是需要应用稳健的软件开发和系统工程原则以及网络安全实践的工程挑战。必须接受并应用几十年来成熟的工程实践于AI系统开发和部署，以使其对于关键任务使用可靠、可信和可扩展。

请记住，AI支持的系统核心仍然是软件密集型系统。成功的AI支持系统必须通过工程纪律迭代设计、构建、测试和持续维护。需要有信心认为工程能力足以集成、测试和监控AI组件以及管理所需数据。此外，技术堆栈中的现有技术和基础设施必须以确保持续运营的方式进行更新。

某些传统软件和系统工程实践的应用在开发AI支持系统中占据中心位置。例如：

• 工程团队需要为AI组件、数据、模型和输出中的固有不确定性设计AI系统架构，特别是在纳入生成式AI时。
• 与AI系统的用户体验是动态的。界面必须清楚地显示系统在做什么（即轮流），它如何生成输出（即数据源），以及何时行为不符合预期。
• 工程团队需要考虑不同的变化节奏，包括数据、模型、系统和业务的变化。
• 验证、确认和保护AI系统需要考虑模糊性，以及由于频繁变化的数据和模型的基本性质而增加的攻击面。

关注组织特征也是成功的关键。组织必须自问，它们的价值观、战略、文化和结构将如何与AI带来的变化保持一致。它们还需要提供员工在适当集成或使用AI时取得成功所需的培训和发展。

无论组织处于采用旅程的哪个阶段，在采用AI时，风险和治理始终是关键考虑因素。在需要以负责任和可持续的方式管理风险和安全性问题的高风险行业或组织中尤其如此。

此外，关键信息可能在采用的任何阶段受到损害。SEI最近举办了一个AI采购研讨会，邀请了来自国防和国家安全组织的参与者，探讨在这些高风险领域中围绕AI的承诺和困惑。这次研讨会强调了这些领域的挑战，包括更高的风险和失败后果：商业聊天机器人中的错误可能导致混淆，但情报摘要中的错误可能导致任务失败。

确定组织前进道路的路线图

为AI采用创建路线图首先取决于评估组织的需求、能力和目标。组织制定的路线图将取决于许多因素，如其技术领域、治理结构、软件能力、技术方法和风险状况。采用AI的组织通常根据其业务重点、核心软件、AI和网络安全能力、需要遵循的治理政策以及AI应用重点，分为一组基本原型。例如，一个没有软件作为核心能力（以领域为中心的组织）但将从AI中受益的产品组织，将遵循非常不同的采用路径，并具有与软件优先的技术公司不同的需求。图1说明了这两种原型的示例特征，这将有助于指导它们各自的采用路径。

尽管上述组织具有非常不同的特征，但在制定路线图时，两者都需要实现以下目标：

• 识别AI计划与业务目标和ROI之间的一致性。
• 识别并清晰沟通风险和风险容忍度措施。
• 识别相关数据并提供适当解决方案的差距。
• 验证努力将获得必要的领导支持以取得成功。
• 确定需要哪些额外的技能或个人来支持解决方案。
• 识别提供适当解决方案所需的技术。

然而，它们需要发展的部分关键能力可能会有所不同，从投资基础设施的数量到如何塑造劳动力。AI采用中的ROI隐藏在这些看似简单但微妙的差异中。没有一刀切的解决方案。不幸的是，广泛的概括误导了组织——虽然并非每个用例都适合AI，但正确的范围和现实的路线图可以通过AI采用解锁巨大机会，以增强能力并实现有意义的收益。

日益重视AI成熟度

评估所需关键能力的成熟度是为成功采用AI创建路线图的一种方式。组织的能力指的是其执行工作所拥有的资源，包括专业知识、流程、工作流程、计算资源和劳动力实践。其成熟度反映了这些能力得到支持、规划、管理、标准化和改进的程度。评估组织对AI采用的准备情况需要评估其当前实践及其适应能力，同时识别弱点并在改进时跟踪进展。

成熟度模型提供了一个框架，帮助评估组织或职能部门执行和维持特定技术实践以实现其目标的能力。成熟度模型概述了发展和组织能力的阶段，每个阶段代表在特定领域组织能力的更高水平。因此，它们突出了关键实践领域，并提供了改进的路线图。成熟度模型的有效性取决于其结构开发所依赖的稳健数据和理论，以及其在实践中使用的证据。

组织领导者显然正在寻找关于如何克服在尝试充分利用AI并实现预期ROI时出现的重大采用和成熟度挑战的指导。在这个快速发展的领域，已经提出了许多模型和框架。SEI研究人员调查了当前的AI成熟度评估实践、挑战和需求，以了解实践状况。

我们确定了115个在2018年至2025年5月期间发布的与开发中的AI成熟度模型相关的信息来源。这些模型处于不同的完成阶段，并以各种形式发布，包括同行评审期刊、博客文章和白皮书。

SEI的审查旨在提供关于AI成熟度模型现有研究和实践的全面概述，并识别由商业组织或政府开发的框架，特别关注那些解决或引用生成式AI的框架。通过包括AI成熟度框架、AI成熟度评估、AI成熟度模型、AI准备度评估和AI能力模型等关键词，团队确定了57个被认为足够有希望进行详细审查的来源。额外的专家判断和互联网搜索从灰色文献中识别出另外58个来源，包括来自咨询公司等商业组织的拟议AI成熟度模型，以及全球政府组织提供的英文模型。任何明显是营销内容的项目都被排除在外。在总共115个中，58个被确定明确包含成熟度模型，其余是关于AI成熟度和采用的高层讨论，没有明确模型。

这些成熟度模型中有40个专注于一般AI，7个专注于生成式AI，5个专注于负责任AI，其余是一次性的，专注于非常具体的主题，如区块链。

我们的发现表明，虽然在开发AI成熟度模型方面有许多努力，但它们共享共同的缺点，包括缺乏清晰的成熟度评估测量方法、缺乏其在实际中有效使用的证据，以及缺乏它们如何随着技术快速演变解决新兴需求和实践的证据。SEI研究的成熟度模型主要关注与伦理、负责任AI、战略、创新、人才、技能组合、人员、治理、组织、技术和数据相关的常见能力领域。所有现有的AI成熟度指导都面临相同的挑战：现实世界价值的证据有限，并且在技术快速演变时难以保持相关性。在这种快速发展的技术环境中，组织还需要意识到越来越多的标准和指导，以确保在采用AI和领导组织AI转型章程时的安全、安保和隐私。

SEI将在未来的报告中分享审查的详细结果。

告诉我们您组织的AI努力

SEI继续从组织收集关于其AI采用旅程的见解。我们邀请您参与一项关于您的组织在采用AI技术（特别是生成式AI）时经历的挑战和成功的调查。这项调查特别关注与成熟AI应用及其在您组织内使用最相关的实践领域。通过参加这项调查，您将帮助更清晰地了解像您这样的组织如何成熟AI采用，获得对实践的见解，并有助于理解持续挑战，以帮助推进负责任和有效地使用AI与预期ROI。请通过此链接参加调查：https://sei.az1.qualtrics.com/jfe/form/SV_b73XP0pFAythvqS

其他资源

• 《国家安全中的人工智能：采购与集成》
• 《工程AI支持系统真正有什么不同？》
• 《评估LLMs在软件工程和采购中的机会》
• 《生成式AI会填补软件架构中的自动化空白吗？》