Kong AI Gateway 3.11 推出降低令牌成本的新方法

Kong 发布了 Kong AI Gateway 的最新更新，这是一个用于保护、治理和控制来自流行第三方提供商的 LLM 消费的解决方案。

Kong AI Gateway 3.11 引入了一个新的插件，用于降低令牌成本，以及多项新的生成式 AI 功能和对 AWS Bedrock Guardrails 的支持。

新的提示压缩插件可以移除填充和冗余的词或短语。这种方法保留了提示的 80% 语义含义，但移除不必要的词可以带来高达 5 倍的成本降低。

根据 Kong 的说法，提示压缩插件补充了其他成本节约措施，例如语义缓存以防止冗余的 LLM 调用，以及 AI 速率限制以按应用或团队管理使用限制。

此更新还增加了超过 10 项新的生成式 AI 功能，包括批量执行多个 LLM 调用、音频转录和翻译、图像生成、有状态的助手以及增强的响应内省。

最后，Kong AI Gateway 3.11 添加了对 AWS Bedrock Guardrails 的支持，这可以帮助保护 AI 应用程序免受恶意和意外后果的影响，如幻觉或不适当的内容。开发者可以实时监控应用程序并调整策略，而无需更改代码。

“我们很高兴推出迄今为止最重要的 Kong AI Gateway 版本之一。通过提示压缩、多模态支持和护栏等功能，版本 3.11 为团队提供了构建更强大 AI 系统所需的工具——更快且运营开销大大减少。对于任何希望可靠扩展 AI 同时控制基础设施成本的组织来说，这是一个重大进步，”Kong 的 CTO 兼联合创始人 Marco Palladino 表示。