Kong AI Gateway 3.11推出降低令牌成本的新方法

Kong发布了Kong AI Gateway的最新更新，该解决方案用于保护、治理和控制来自流行第三方提供商的LLM消费。

Kong AI Gateway 3.11引入了一个降低令牌成本的新插件、多项新的生成式AI功能以及对AWS Bedrock Guardrails的支持。

新的提示压缩插件可移除填充词和冗余词汇或短语。这种方法保留了提示中80%的预期语义含义，但移除不必要的词汇可导致高达5倍的成本降低。

据Kong称，提示压缩插件补充了其他成本节约措施，例如通过语义缓存防止冗余LLM调用，以及通过AI速率限制按应用程序或团队管理使用限制。

此更新还增加了10多项新的生成式AI功能，包括批量执行多个LLM调用、音频转录和翻译、图像生成、有状态助手以及增强的响应内省。

最后，Kong AI Gateway 3.11添加了对AWS Bedrock Guardrails的支持，可帮助保护AI应用程序免受恶意和意外后果的影响，如幻觉或不适当内容。开发者可以监控应用程序并实时调整策略，而无需更改代码。

Kong首席技术官兼联合创始人Marco Palladino表示：“我们很高兴推出迄今为止最重要的Kong AI Gateway版本。凭借提示压缩、多模态支持和防护栏等功能，3.11版本为团队提供了构建更强大AI系统所需的工具——更快且运营开销更少。对于任何希望可靠扩展AI同时控制基础设施成本的组织来说，这都是一个重大进步。”