为什么智能体AI试点失败及如何安全扩展

在纽约某加速器机构峰会上，某AI公司联合创始人兼首席执行官与某大学教授展开对话，探讨了每个尝试AI的企业面临的核心问题：为何众多AI试点项目停滞不前，以及如何真正释放AI价值？

某AI公司于2025年5月成立，其使命是解决创始人在数十年数据访问与安全工作中发现的缺口：如何安全管理AI智能体，使其在企业环境中兑现承诺。

AI试点失败的原因

当前企业AI试点存在普遍困境：“试点项目很多，但多数即将结束却成果寥寥”。一位CEO最初对AI充满热情，试图通过试点自动化日历管理和优化医生沟通，但三个月后整个项目"完全脱轨，没有任何效果，供应商也退出合作"。

根本误区在于人们对AI工作方式的错误认知：大多数人将AI等同于类似某聊天机器人的大语言模型，认为通过聊天界面就能解决问题。但现实是"这种界面预设人们通过与智能博士聊天来完成工作，这并非大多数人的工作方式"。

除编程领域外，当前AI部署未能契合实际工作流程。编程是少数能直接将代码交给智能专家修复的场景，而大多数职能需要AI以人类方式使用工具才能完成有价值的工作。

智能体的承诺与现实瓶颈

早期智能体AI实验（如号称首个AI软件工程师的Devin）实际成效有限。问题不在于技术本身，而在于人们期望与智能体实际能力之间的差距。

某自动化工具证明：无代码工具并未取代程序员。真正挑战在于"看到强大工具、理解业务问题，并找到连接两者的方法"。企业往往认为投入资金就能解决问题，但最终毫无成果，因为"人类流程或人们使用这些工具的方式根本行不通"。

这引出了真正的瓶颈：访问权限。不仅是访问AI，更是AI能访问什么。“我们根据身份、行为和信任度赋予人类访问权限，但AI尚未遵循相同路径。让AI像人类一样登录点击只是放大的机器人流程自动化”。

企业需要明确：

• 信任智能体执行的任务
• 背后人类的权限
• 交互系统的规则
• 具体任务要求

这些因素交织形成多维访问权限问题：“没有精细控制，要么限制智能体至不如人类有用，要么风险过度授权。目标是让它们比人类更有用”。

专业代理的未来与"混乱"管理

随着讨论转向访问权限，一个重要问题浮现：基于角色和权限的访问是否在争论智能体AI的边界？

立场很明确：“支持专业代理。就像我们雇佣人类一样，不会雇一个人做所有事。不会有单一AI统治一切，无论它多强大。”

随着公司发展，他们会寻求专业工具，就像雇佣专业人才。“不会雇佣一群通才指望公司顺利运行，智能体也是如此。”

但专业化带来复杂性。面对"如何管理混乱"的质疑，回应是：“混乱其实是好事。软件领域已经存在这种情况，但不需要逐个智能体管理，数量会太多。”

关键是集中管理：

• 统一管理所有智能体的平台
• 基于智能体任务和人类角色的控制
• 系统特定保护措施（如某客户管理系统或人力资源负责人需要管理其领域内的活动）

“如果每个智能体或其构建者有自己处理安全的方式，这将不可持续。也不应该由智能体或其创建者决定自己的安全协议——这恐怕不是好主意。”

AI智能体需要护栏与入职流程

责任归属问题至关重要。当人类管理AI智能体群时，责任在哪里？

“存在人类问责制。但必须记住：人类并不总是知道智能体会做什么或怎么做。如果从AI中学到了什么，那就是它可能有点自己的主意。”

将智能体比作热情实习生——渴望证明自己，有时因热情越界：“他们会尽一切努力令人印象深刻。这就是护栏的作用。但将护栏建在智能体内部很困难，它们很狡猾，经常能找到绕过内部限制的方法。”

更聪明的方法是从小开始：

• 给予智能体有限范围
• 观察其行为
• 逐步扩展信任，就像人类实习生随时间获得更多责任

这引出了逻辑下一步：入职流程。引入AI智能体是否像人力资源职能？某芯片公司CEO的比喻很贴切：“你有由人力资源管理的生物劳动力，和由IT管理的智能体劳动力。”

就像公司使用人力资源系统管理人一样，他们将需要系统来管理、部署和培训AI智能体，使其高效且安全。

管理AI意图的方法

速度是AI最大优势和风险之一。“智能体核心是计算机，做事非常非常快。一位首席信息安全官完美描述：她希望限制智能体进入时的爆炸半径。”

某安全公司CEO也有类似思考：“AI有时可能完全善意，没问题，但仍需跟踪谁在做什么、访问什么。可能是恶意的，也可能是善意但做错事。”

现实世界的例子比比皆是，从某AI模型"告发"用户，到AI以意外方式保护自己的代码库。

那么如何管理AI智能体的意图？与传统计算形成鲜明对比：“历史上，计算机完全按指令执行；不管这是否是你想要的。但现在不再完全如此。有了AI，有时它们不会完全按你说的做。”

这使得管理成为艺术与科学的结合。而且，“不会是财务部门的Joe启动智能体来做他们的工作。这些工具太强大、太复杂。有效部署需要专业知识。”

试点停滞与创新传播方式

如果智能体真能完成所有任务，“就不需要我们在这里，它们自己就能处理一切。“但现实不同。当问及治理失败时，指出了微妙但强大的失败原因：不是鲁莽部署，而是惯性。

“我看到的失败不是行动中的治理不善，而是没有发生的事情。公司不愿真正释放这些智能体，因为他们没有所需的可见性或控制力。”

结果？试点项目毫无进展。“就像雇佣非常有才华的人，却不给他们完成工作所需的工具，然后对结果失望。”

相反，成功的AI部署来自开放组织，它们授予更广泛的访问和信任。但承认了难点：“公司规模越大，越难做到。不能以这种方式运营大企业。”

那么创新从何而来？“是自下而上，也是由外向内。会看到有远见的团队构建很酷的东西，展示出来，突然每个人都想要。这就是采用传播的方式，就像API世界一样。”

要将创新带入安全、可扩展的实践：

• 从治理和安全开始，让人们安全实验
• 吸引内部团队和外部专家
• 专注于解决真实业务问题，不仅仅为部署技术而部署

直言不讳：“首席信息安全官和技术官并没有真正的AI问题。但创造产品、销售、管理财务的人需要AI保持竞争力。”

从外骨骼到独立代理的AI信任

对话回到关键主题：信任。在某聊天机器人之前，人类与计算机的体验就像电子表格：一加一总是等于二。如果出错，你假设是自己的错误。计算机总是对的。

但现在，AI的行为方式可能感觉不可预测，甚至不可信。这对我们与之合作意味着什么？

这种转变被视为特性而非缺陷：“如果AI完全线性，你就只是在编程，这不是AI应有的意义。这些模型基于全部人类知识训练。你希望它们去寻找有趣、不同的解决问题方式。”

AI的力量不是像某搜索引擎那样使用它，而是在过程中与之互动：“我儿子在丹麦某生物技术初创公司从事科学工作。他使用AI不是为获得答案，而是为就如何找到答案进行对话。这是成功使用AI的心态。”

这种心态延伸到渐进式信任：“从分配低风险任务开始。保持人类在环。随着AI随时间交付更好结果，可以减少监督。最终，对于某些任务，可以将人类移出循环。”

用强大比喻总结：“从AI作为外骨骼开始；它让你更大、更强、更快。随时间推移，它可以变得更像自己做工作的机器人。”

智能体AI谱系与访问控制的关键性

对话联系到某银行技术官的有用类比：智能体AI不是二元的。“没有明确的0或1界定某物是否具有智能体特性。一端是完全信任的智能体系统，另一端可能只是单次提示或带有点机器学习的经典机器人流程自动化。”

完美描述了两端谱系。“所有自动化的关键是决定在谱系上我们舒适操作的位置。”

比作自动驾驶汽车：“1级是巡航控制；5级是完全自主。我们现在舒适处于中间某处。智能体也会如此。随着它们变得更好，我们更擅长引导它们，我们将沿着谱系进一步移动。”

如何安全导航？回到访问控制的重要性：“当在智能体层外控制访问时，就不必太担心内部发生什么。智能体不能看到或写入任何未允许的内容。”

这种方法提供两个关键保护：

• 防止意外行动
• 提供尝试可见性，显示智能体何时尝试做不该做的事，以便团队在造成损害前调整指令

“这让你能弄清楚是什么指令促成了该行为，而不让它破坏任何东西。”

业务必要性与聊天界面神话

在企业层面，强调某首席AI职位的崛起反映了更深层真相：“公司中有人认识到需要解决这个问题以竞争。要么在竞争对手前解决并获得优势，要么落后。”

强调这就是为什么这不仅是技术问题，更是业务问题：“你使用技术，但解决的是业务挑战。需要让有问题的人和解决问题的人参与，弄清楚AI如何使其更高效。”

当被问及AI企业采用的最大神话时，毫不犹豫：“聊天界面将获胜。“虽然程序员喜欢聊天界面，因为他们可以输入代码获得帮助，但大多数员工不这样工作。

“大多数人不是通过类似聊天的互动完成工作。大多数人不知道如何有效使用聊天界面。他们看到一个框，像某搜索引擎，这与AI效果不好。”

预测五年内聊天界面将变得小众。真正价值？“智能体在幕后做有用的事情。”

如何安全扩展AI

最后，回应结束问题时，为希望安全扩展AI的企业提供实用建议：“可见性关键。我们不完全理解这些模型内部发生什么；没人真正理解。任何声称能保证模型内部行为的工具？我表示怀疑。”

相反，敦促公司专注于可以行动的领域：“管理输入工具的内容和输出内容。不要相信你能控制内部发生什么。”

最终思考

当企业应对AI采用的复杂现实时，有一点很清楚：成功不会来自追逐炒作或希望聊天界面神奇解决业务挑战。

成功将来自构建深思熟虑的护栏、设计专业代理，并使AI计划与现实工作流程和风险保持一致。未来属于找到正确平衡的公司；足够信任AI释放其潜力，但明智治理以保护业务。

前进道路不是取代人；而是用真正与人协作而不仅仅是并肩工作的AI赋能他们。