发布日期:2025年12月4日
亚马逊Bedrock平台现已在新的、与OpenAI API兼容的服务端点上支持Responses API。Responses API使开发者能够为长时间运行的推理工作负载实现异步推理,简化了智能体工作流的工具使用集成,并同时支持有状态对话管理。该API使开发者无需在每次请求时传递完整的对话历史,而是能够自动重建上下文,无需手动管理历史记录。这些新的服务端点同时支持流式和非流式模式,在Chat Completions API中启用了推理能力支持,并且开发者仅需更改基础URL,即可在现有与OpenAI SDK兼容的代码库中集成。
支持推理能力的Chat Completions现已适用于所有由Project Mantle驱动的亚马逊Bedrock模型。Project Mantle是一个为亚马逊Bedrock上大规模机器学习模型服务而设计的新型分布式推理引擎。它简化并加速了新模型在Bedrock上的部署,通过复杂的服务质量控制提供了高性能、可靠的服务器无感知推理,通过自动容量管理和统一资源池解锁了更高的默认客户配额,并提供了与OpenAI API规范的开箱即用兼容性。Responses API的支持即日起从OpenAI的GPT OSS 20B/120B模型开始提供,其他模型的支持将很快推出。
要开始使用,请访问服务文档。