Amazon Bedrock 现已支持通过新的 OpenAI API 兼容服务端点使用 Responses API。Responses API 使开发人员能够为长时间运行的推理工作负载实现异步推理,简化用于智能体工作流的工具使用集成,并且支持状态化对话管理。该 API 无需开发者在每次请求时传递整个对话历史,而是使他们能够自动重建上下文,而无需手动管理历史记录。这些新的服务端点同时支持流式和非流式模式,在 Chat Completions API 内启用了推理努力(reasoning effort)支持,并且开发者只需更改基础 URL 即可将其集成到现有与 OpenAI SDK 兼容的代码库中。
带有推理努力支持的 Chat Completions 现已适用于所有由 Project Mantle 提供支持的 Amazon Bedrock 模型。Project Mantle 是一个用于在 Amazon Bedrock 上进行大规模机器学习模型服务的新分布式推理引擎。它简化并加快了新模型在 Amazon Bedrock 上的集成过程,通过复杂的服务质量控制提供高性能且可靠的无服务器推理,通过自动化容量管理和统一资源池解锁更高的默认客户配额,并提供与 OpenAI API 规范的开箱即用兼容性。Responses API 支持现已推出,首批支持 OpenAI 的 GPT OSS 20B/120B 模型,并即将支持其他模型。