对话实录

[开场音乐]

Ryan Donovan：大家好，欢迎来到Stack Overflow播客，这是一个讨论所有软件和技术话题的地方。我是Ryan Donovan，您谦逊的主持人，今天我们将讨论AI代理和万物的API化。我的嘉宾再次回到节目，他是Kong的首席技术官Marco Palladino。Marco，你今天怎么样？

Marco Palladino：我很好，Ryan，再次感谢你邀请我。

Ryan Donovan：当然。作为一家API公司的CTO，你一定处在有利位置。API AI代理已经提升了API使用量——作为API网关提供商，你看到了什么样的影响？

Marco Palladino：嗯，我们看到API消费正由用例驱动。世界正在API之上构建，过去，我们有移动端，它是API的重要驱动力；然后云原生生态系统开发了微服务，甚至更多的API。正如你所说，AI正在API之上产生更多流量。无论我们是在消费LLM，还是在我们的代理中消费MCP服务器或第三方API，最终我们创造的API流量比之前多了10倍。因此，这无疑对全球API消费是一个巨大的推动力。

Ryan Donovan：随着这一点，我们看到MCP协议作为一种标准出现。我在节目之前思考过，MCP看起来有点像一种“API网关”。你怎么看？

Marco Palladino：嗯，MCP是一种新协议，旨在更友好地与我们正在构建的代理交互。当然，代理可以通过实现函数调用来消费任何API，但从代理的角度来看，MCP使得可用工具的广告和这些工具的消费都变得更加容易和直观。所以，如果你看MCP——仅仅从技术本身来看，它实际上是一种API协议。它与你的PC没有什么不同。它与GraphQL没有什么不同。它是我们消费第三方数据和服务的一种方式。现在，因为它与代理生态系统如此友好，当然，现在出现了大量的MCP API，每个人都在构建，以便能够构建有能力的代理。你看，在构建代理时，很多焦点都放在我们将用于为代理提供智能的LLM模型上。但代理，你知道，它们可能使用世界上最聪明的模型，但如果它们无法访问API或MCP服务器来与第三方数据和服务交互，那么这些代理就不会非常有能力，因为它们无法用那种智能做太多事情。所以，这非常重要——也许比选择LLM更重要——开发一个API集成生态系统，或者在这种情况下，开发代理可以消费的MCP服务器生态系统，这样我们就能随着时间的推移构建更聪明的代理，能够用我们的数据做更多事情。

Ryan Donovan：MCP服务器似乎对代理本身和提供它的人都是福音，他们可以限制并指导代理的去向。这是你看到的吗？对提供服务器的人有什么好处？

Marco Palladino：你知道，组织的开发人员现在正在RESTful API之上构建MCP包装器，仅仅是因为他们想提供一种更简单的方式——因为当事情变得简单时，人们会更多地采用它，对吧？所以，如果它简单，就会有更多的采用，这就是它的方式，如果它能通过MCP让代理更容易使用API，那么创建代理并使它们有能力就会更容易。你看，MCP目前最大的问题是每个人都在雇佣开发人员，以便能够在所有已经存在的API周围创建大量的MCP包装器。你知道，组织已经拥有数万个准备就绪的API，他们现在正在付出巨大努力，基本上在这些API之上创建MCP服务器，并使它们可供消费。当他们这样做时，有一些挑战：我们必须构建它们，部署它们，扩展它们，保护它们，观察它们。所以，这项MCP创建工作涉及大量工作。当然，在Kong，我们与那些100%投入AI的组织密切合作，他们向我们寻求简化创建MCP的方法。例如，我们提供MCP自动生成，我们提供一种标准化的方式来保护所有CP服务器，使用最新MCP规范描述的新集成，以及可观测性、治理等等，当涉及到MCP时。但可以肯定的是，现在有一场创建MCP的竞赛，因为我们越早拥有MCP服务器生态系统，我们就能越早构建有能力的代理，组织就能越早将每个业务流程转变为AI原生的业务流程，或创建最终用户和最终客户可以使用的AI原生产品。

Ryan Donovan：嗯，我和一些构建MCP服务器的人谈过。据我了解，这实际上是一个相当简单的协议——在API之上的一层薄薄的层，有些人描述它有点粗糙。但你谈到了很多能力规划，对吧？那种安全、负载均衡、流量规划，伴随着增加你给API的负载而来的，对吧？

Marco Palladino：但当涉及到MP时，我认为它只是发展得非常快，我认为，感觉像是第一版规范的作者，可能因为MCP一夜之间获得的流行度而措手不及。所以，你知道，MCP没有很多东西——比如安全是最大的问题之一，现在最新版本的规范描述了ZIZO alt集成，我们可以保护对MCP服务器的访问。我猜，你知道，还有很多东西有巨大的改进机会，我认为最大的问题之一——我甚至认为行业正在努力解决的最大问题——是如何在一系列被消费的MCP工具中模拟最终用户？因为现在，大多数这些MCP服务器用于内部使用，但如果我们想创建一个最终用户使用的代理，比如普通用户，那么如果我们的代理使用多个MCP服务器做多件事，我们需要能够在我们将通过代理运行的整个命令链中模拟最终用户。这目前不是一个已解决的问题，有很多公司在那里。关于如何创建一个——也许是一个凭证存储，如何安全地做到这一点，如何在这些第三方服务之间传播授权、权限，有很多实验，我的希望是MCP最终会提出一个标准化的方法来解决这个问题。

Ryan Donovan：对。是的，因为那正是我运行代理时想要的：我想要有我的凭证，我想要检查我的购物清单，或无论什么。那么，我们如何安全地做到这一点？因为这似乎是一种容易导致令牌被盗和协议泄露的方式。

Marco Palladino：是的，我猜这是为什么大多数MCP实现现在在安全的私有环境中使用的原因之一。但当然，我们都知道这对各种用例肯定有用，但如果我们能向公众开放我们的代理，用例会增加100倍。能够提供解决方案，我的意思是，如果你想构建代理世界，这就变得至关重要，我们都真正相信在未来的几年里，提示将成为新的浏览器。你知道，我们将不再使用网站或前端与我们的服务和应用程序交互。我们将询问一个提示，提示将消费或调用多个代理，每个代理垂直化于自己的工作范围，这些代理将为我们执行工作。比如，例如，我不会去Airbnb网站浏览和滚动，我会问一个代理，“嘿，我要去纽约这么多天——找一些符合我偏好的东西。”将会有一个另一个代理，存储了我所有想要的偏好，它会与这个预订代理通信——然后找到航班，找到Airbnb房子，等等。所以，我真正相信，如果我们走向一个代理将成为互联网新用户的地方，因为它们被像我这样的人——普通消费者——触发，那么，当然，我们必须解决这些和许多其他问题。但通过所有函数调用API或MCP服务器发出的请求链中模拟最终用户——这必须解决。否则，这些永远不会成为现实。

Ryan Donovan：对。我在几个地方说过，我们可能会走向与互联网的单一接触点，无论是浏览器还是终端，每个SaaS公司都将成为API。但有趣的是，我们正在实时解决这个问题，因为代理是一个相当新的能力——可能不到一年——人们一直在敲打。

Marco Palladino：是的，我认为它相当新，但它是那种一旦你开始看到它，就无法视而不见的事情之一。你知道，很明显，我们将拥有一支代理大军跟随我们，处理各种帮助我们日常生活甚至职业生活的事情，这似乎不可避免会发生。当那发生时，我认为我们将看到技术的一次转变，其规模我们前所未见。你知道，过去曾经是黄页，所以如果你作为企业必须在黄页上有你的电话号码，因为那是客户当时使用的，他们通过黄页找到你的业务，所以在那里有你的电话号码。然后你必须有一个网站。为什么？因为消费者转向了互联网，如果你想获得客户，你必须有一个网站。随着移动革命，我们看到，15年前，客户转向智能手机，如果你想瞄准他们，你需要有一个智能手机应用程序。现在发生的是，消费者将转向代理，因为我将要求代理为我做事，所以将会有一个全新的互联网，它将是代理化的。这就是为什么，你知道，每个人都对这个代理世界感到兴奋，因为代理化真正是我们所知互联网的下一次迭代，将会有一整套新技术、规范，在这些地方，这些代理将相互竞争，它们将使用第三方服务。所以MCP恰好是这个代理世界的早期迭代。我不知道，行业发展如此之快，我不知道MCP是否会在这里呆上10年，或者有其他东西会取代它。但问题是，精灵已经出了瓶子，现在每个人都能看到这个代理世界，每个人都想去构建它。我认为这是一个充满机会的世界。你知道，如果你今天是一名企业家，你基本上在看我们今天拥有的一切，从基础设施到可观测性，到分析，甚至计费。所有这一切都将为代理世界重新发明，企业家建立伟大企业的机会总是发生在这些大规模技术转型时，因为这创造了一个开放——一个机会进入，而现有者由于创新者的困境而落后。所以我认为这对行业、技术，也对创业精神来说，将是一个非常非常令人兴奋的十年。

Ryan Donovan：你们都做了一些关于企业实际投入和投资程度的近期调查。我想听听关于那项调查的一些情况。然后，如你所知，我们最近也发布了一些调查数据。

Marco Palladino：嗯，我们确实发起了一项调查。我们采访了数百名IT领导者、专业人士，还有Kong用户和Kong客户，基本上他们中的大多数——72%——预计在未来一年会增加LLM消费。我在想，其他人呢？我的观点是，其他人将被这72%颠覆，这些72%将全力投入，并在AI方面超出他们的投资，因为没有其他办法。其他人将被颠覆，这让我回到我之前谈到的机会——你知道，将会有很多公司无法抓住这个机会，而对其他人来说，将有一个巨大的机会介入。我们注意到，与早期相比，谷歌模型的采用率大幅增加，你知道，Gemini，Vertex。如果你记得早期，谷歌有点挣扎。OpenAI突然出现，几乎抢了谷歌的午餐——似乎谷歌已经从那里恢复过来，现在69%的受访者报告使用谷歌的模型。然后，你知道，只是为了结束这一点，我们进行的调查中另一个非常明显的是，每个人都关心治理、安全、护栏……因为你知道，如果没有完全掌握“这些代理在做什么？它们在与什么数据交互？它们是否在共享它们不应该共享的东西？”就没有办法在生产中部署代理。所以，需要构建大量的基础设施工作，以提供生产就绪的代理环境。公平地说，你知道，作为Kong的CTO，我将此视为我们的机会，去为我们合作的组织提供那种基础设施。

Ryan Donovan：没错。这里有一个卖铲子的人。根据我们的数据，我们也注意到有报告称人们计划增加AI使用量，但与此同时，我们看到对AI工具的信任度下降了。所以，我认为——作为为AI代理提供工具的人，你如何提高人们对LLM和AI代理的信任？

Marco Palladino：我认为我们正在移动，并切换AI采用的阶段。你知道，在过去的几年里，我们有一批AI团队在一个角落里工作，构建早期代理，使用他们自己的工具，他们构建自己的安全，等等。现在，当然。这不适用于需要访问这些AI机会的数千名开发人员。所以，当然，你知道，既然我们已经验证了第一组用例，既然我们已经验证了AI确实可以帮助转变业务流程，它可以帮助为我们的客户提供新的、引人入胜的体验，那么，现在我们需要扩展它，我们需要在生产中扩展它。仅仅在防火墙后面是不够的。当然，当你从实验转向生产时，嗯，有一堆事情需要发生，对吧？我们想要，首先，我们不希望开发人员每次构建代理时都重新发明轮子。所以，每个代理都需要有许多横切需求。想想代理正在做什么的可观测性。想想创建对模型的访问层级。想想能够应用PII清理的全面策略，这样我们就不会向代理广告客户数据。想想拥有安全信封来检测和防止提示注入攻击等。你知道，所以需要构建大量的基础设施，我们绝对——我实事求是地说——我们绝对不想为我们部署的每个代理重新发明。所以，我认为在这一点上，平台团队、核心团队、那些应该支持构建代理的开发人员团队的团队，现在球在他们那边。好吧，提出一个平台，可以帮助所有这些开发人员构建代理，这些代理默认在一个核心上工作，该核心在一个安全、可观测、可治理等的基础设施上。所以，我们现在看到这些AI原生平台的大规模推出，这些平台将允许代理进入下一阶段。

Ryan Donovan：感觉AI和AI代理正在快速完成一个Web开发管道，就像我们已经到达这些框架和这些，几乎像服务网格类型的东西，包括所有平台内容。所以，AI代理现在只需要编写所有业务逻辑。

Marco Palladino：你知道，我认为行业正在认识到这整个运动有多么重要。你知道，很难忽视。你知道，我们与金融服务业客户合作，他们告诉我们，他们一直在创新，在财富顾问的概念上使用AI。你知道，过去，财富顾问是分配给超高净值个人的人类。现在他们正在增加所有其他人的参与度，不仅仅是超级富豪，而是每个银行客户——他们现在开始尝试AI驱动的财富顾问，增加参与度，进行投资组合分析，它们可以提醒风险管理，等等。我们听到他们说，这将他们客户的参与度提高了高达50%，你知道？所以当你开始看到AI对客户群——对转化率、参与率——增加如此切实、可衡量的积极效果时，每个人都迫不及待地去构建代理部署，因为通过它们创造了切实的业务成果。所以有时候，这些代理总是在推动边界，想要进入生产，也推动平台团队的边界——他们需要支持这些代理，因为每个人基本上都在我们说话的时候构建这些。现在，当然，受监管的行业——他们只能这么快地移动，因为在一定时候，如果他们没有正确的基础设施来做这件事，他们必须停止一切；所以这就是Kong介入的地方，这就是其他解决方案介入的地方，这就是我们如何试图为这些代理创建一个生产级环境，让它们以可预测、安全、可衡量的方式运行，以便它们可以进入生产。

Ryan Donovan：我和可观测性人员谈过，也和LLM人员谈过，试图获得LLM的可观测性部分一直很困难。我认为Anthropic有一些研究，比如发现它是如何思考的，但总的来说，你对LLM和代理的可观测性有什么看法？

Marco Palladino：是的，所以这是一个非常有趣的问题需要解决，特别是因为我们了解到许多开发人员实际上使用许多不同的模型，不一定来自同一提供商。所以，我们有不同特性的不同模型，甚至不同的定价点，所以我们更常见的是，组织希望使用多个模型，有时甚至自托管自己的模型，但使用来自多个供应商的模型。当涉及到可观测性时，我们不希望的是对每个供应商、每个LM都有不同的可观测性策略——我们希望有一个东西在所有供应商和所有模型中运行。当涉及到可观测性时，它从基本的可观测性理解开始，你知道，“什么代理在消费，什么模型？”然后它深入理解，这些代理消费了多少令牌，它们产生了多少支出，它们是否发送了任何PII，是否被发回，我们应该识别护栏被调用了多少次，或者，你知道，护栏阻止响应被发回了多少次。然后，如果你越来越深入可观测性领域，我们进入更奇特的可观测性需求，例如：需要知道是什么决策逻辑使一个代理或模型做出特定选择而不是另一个选择。你看，未来有趣的代理，即使是现在，是那些将要做出决策的代理。但如果我们曾经给代理做出决策的能力——代理能力——那么我们需要观察，“是什么标准或参数？”导致代理做出特定决策，这样我们就能随着时间的推移改进它。所以，当我们看决策跟踪或决策审计时，我认为我们正在进入一个非常需要但仍然非常奇特的需求或领域，行业还没有真正开箱即用的解决方案。我认为这里有很多创新的机会。

Ryan Donovan：我认为LLM本身仍然是一个相当大的黑盒。我只是记得多年前在大学里看神经网络实际上是什么，它只是一个大的求和函数。我当时想，“你怎么理解这个？”我见过一些人拥有像置信度分数这样的东西，但能够跟踪它并能够准确理解它如何获得那个信息将是关键。

Marco Palladino：这是一个数十亿美元的机会。如果世界转向代理，代理每秒钟、每分钟做出数百万、数十亿、数万亿的决策，谁构建了能够跟踪这个决策过程并改进它、使它更好的基础设施，我的意思是，这里真的有一个数十亿美元的机会——保守地说。

Ryan Donovan：你提到了检查护栏、检查令牌之类的事情——在API层——在API保护层，有没有办法管理那种支出？在到达昂贵部分之前减少令牌？

Marco Palladino：100%。你知道，这是Kong的 bread and butter。Kong开始是一个API管理平台，但随着时间的推移，我们扩展到将自己视为一个连接平台。一切是API、事件或AI的东西——都是从一处飞到另一处的连接，所以我们的平台允许基本上为其中一些能力提供正确的控制、治理和加速器。所以，当涉及到AI和代理消费时，LLM本身就是API，我们的MCP服务器是API——我们想对我们代理中发生的一切有一个鸟瞰视图，Kong正在创新和迭代以提供这种类型的解决方案。基本上，你知道，改进我们的代理或理解我们拥有的LLM消费，包括成本，很难做到，如果我们没有基础设施来跟踪所有这些指标并将它们放在某个图表中。所以，Kong所做的是能够基于每个令牌关联成本，这样我们就能看到什么代理花费最多的钱。顺便说一下，我们还可以实现语义路由，例如：我们可以将简单的提示路由到更便宜的模型，将更昂贵的提示路由到推理模型，这些模型更有能力，但也更昂贵。所以有一个完整的成本优化和令牌优化领域，我们投入很多并大量创新，以便能够降低那种成本。另一个是我们拥有的提示压缩能力。我们基本上可以通过缩短这个提示、压缩这个提示，像zip文件一样，节省高达5倍的令牌消费，你知道？但我们在文件上压缩提示，并保留该提示80%的语义含义，所以基本上，提示的实际意图或含义没有改变；同时，我们可以节省高达5倍的库存消费来响应那个提示。所以，在AI方面走得更远的组织正在寻找优化支出的方法。话虽如此，也有很多组织没有如此密切地关注支出，因为他们仍在试图找到他们想要启动的正确用例，所以他们仍在试图找出“什么是正确的方向来下注”，然后在他们成功之后，他们开始优化它们。

Ryan Donovan：有没有你推荐人们不使用AI的情况？

Marco Palladino：我会挑战：有没有你不想使用AI的情况，如果没有，为什么？AI是一种新的思维转变。它是一种新的范式。它是一种思考问题解决方案的新方式。我的信念是，我们应该问自己，今天我们拥有的1000、3000、10000个业务流程中，哪些业务流程可能由AI驱动，这样我们可以将有价值和昂贵的人力资源重新分配到更复杂的问题上，这些问题将实际推动组织、领导者和组织的愿景向前发展，执行向前发展，并将所有繁忙的工作委托给代理。所以，我猜，我会问组织的问题是：想想你拥有的所有业务流程——你能用AI替换它吗？如果你能，是什么阻止你这样做？因为隔壁有一个竞争对手正在日以继夜地使用AI替换相同的业务流程，猜猜怎么着？那个竞争对手将获得生产收益、生产力收益，从长远来看，这将产生影响。所以，我们在等什么——那个竞争对手只是在提升抽象级别并自动化更多事情。就像，最终，我认为这就是AI代理的归结。

Marco Palladino：我不太相信AI会取代我们的工作。我认为我们的工作只是随着创新而演变，所以我们将看到的是在人类更适合解决的任务上更加专业化，而AI做其他一切——做繁忙的工作，而繁忙的工作，你知道——如果有什么东西能以自主和智能的方式做它，我们首先就不应该做它。所以，为什么我们花时间做那种繁忙的工作？

Ryan Donovan：有趣的是，我刚刚在我们一个stack exchange网站上读到一个伟大的历史问题，关于这个人说，“哦不，我要自动化掉我的工作。”他更新说，“不，我没有自动化掉我的工作，得到了更多工作，得到了晋升，最终，5年后，他是CTO，他正在离开公司。”

Marco Palladino：我确实相信，必须有，你知道，一种驱动力，始终瞄准越来越专业化，而那些有那种好奇心、想要专业化的人——他们没有什么可担心的。显然，将会有很多通才，他们将不得不在这个新世界中创新自己，这样，当AI解决一些这些通才能自主解决的问题时，他们也需要演变。我的意思是，看，人类和我们的技能组合与组织没有什么不同；同样，组织总是必须转变自己或颠覆自己。同样，我们必须颠覆自己，否则我们将被技术颠覆。但我不相信，你知道——外面有很多吓人的头条——“哦，它将让整个世界失业。”我不相信。我认为世界将专精于AI尚不能做的任务。我认为软件现在也由AI构建非常有趣。有一个整个运动——顺便说一下，MCP：我们谈到MCP作为这些现代IDE和软件开发过程如何与第三方服务和工具集成的非常重要组成部分。我认为我们看到的是，安全市场看起来即将变大100倍，因为所有由AI发布的代码，而AI尚未成熟到理解它们正在发布一些严重的漏洞。但是，看，它非常迷人。我非常看好。我认为未来10年将非常令人兴奋，你知道，有什么比看到它更令人兴奋？构建它。所以，那里有很多构建者——我也认为自己是Kong的构建者，我认为公司是这个新世界的构建者——没有什么比加入并构建并尽我们所能帮助一点更好的了。

Ryan Donovan：好了，女士们先生们，感谢今天收听。到了节目时间，我们向那些来到Stack Overflow、分享知识、分享好奇心并为自己赢得徽章的人喊出。今天我们向救生艇徽章获得者喊出：有人发现一个得分在-3的问题溺水，回答得如此之好，以至于提升了问题本身并为自己赢得了20分。所以祝贺Mark，他在“Visual Studio Code：展开水平条以滚动选项卡”上放下了答案。如果你好奇，我们会把它放在节目笔记中。我是Ryan Donovan。我在这里编辑Stack Overflow的博客和播客。如果你有评论、关切或话题要覆盖，请发邮件到podcast@stackoverflow.com。如果你想直接联系我，你可以在LinkedIn上找到我。

Marco Palladino：我的名字是Marco Palladino。我是Kong的首席技术官和联合创始人。你可以在Twitter或X上找到我@subnetmarco，你可以在konghq.com上查看更多关于Kong在做什么。

Ryan Donovan：好了各位，感谢收听，下次再聊。