在Amazon Bedrock上实现定制化模型的按需部署

概述

某中心Bedrock平台提供模型定制功能，允许客户通过微调和蒸馏等特性定制基础模型版本以满足特定需求。最新推出的定制模型按需部署功能提供了可随使用模式扩展的额外部署选项。

按需部署工作流程

模型定制生命周期代表了从概念化到部署的端到端旅程。该流程从定义特定用例开始，经过数据准备和格式化，然后通过某中心Bedrock微调或模型蒸馏功能执行模型定制。

定制模型后，评估和部署阶段决定模型如何可用于推理。按需部署在此处发挥价值，提供与可变工作负载和成本敏感实现相匹配的部署选项。

实施指南

控制台部署步骤

在某中心Bedrock控制台选择要部署的定制模型
选择"设置推理"并选择"按需部署"
在部署详细信息中输入名称和描述
可选择添加标签
创建部署并监控状态（进行中、活跃、失败）

API/SDK部署示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


import boto3
import json

# 创建Bedrock客户端
bedrock_client = boto3.client(service_name="bedrock", region_name="<区域信息>")

# 创建定制模型部署
response = bedrock_client.create_custom_model_deployment(
    modelDeploymentName="<模型部署名称>",
    modelArn="<训练模型ARN>",
    description="<模型部署描述>",
    tags=[{"key":"<键>", "value":"<值>"}]
)

最佳实践与考虑因素

冷启动延迟

使用按需部署时可能会遇到初始冷启动延迟，通常持续几秒钟，具体取决于模型大小。

区域可用性

初始发布时，定制模型部署仅在某中心东部（北弗吉尼亚）区域可用。

配额管理

每个定制模型部署都有特定配额：

每分钟令牌数（TPM）
每分钟请求数（RPM）
创建状态部署数量
单个账户中的总按需部署数

部署选项选择

可以为定制模型设置两种推理方式：创建定制模型部署（按需使用）或购买预置吞吐量。这两种选项独立运行，可同时用于同一定制模型。

成本管理

按需部署采用按使用量付费的定价模式，基于推理期间处理的令牌数量计费。

清理资源

为避免产生不必要的成本，应及时清理测试资源：

控制台清理

导航到定制模型部署
选择要删除的部署
删除部署

API清理示例

1
2
3
4


# 删除已部署的定制模型部署
response = bedrock_client.delete_custom_model_deployment(
    customModelDeploymentIdentifier="<训练模型ARN>"
)

优势总结

按需部署为定制模型提供了以下优势：

成本优化：按实际使用的计算资源付费
操作简单性：自动资源管理，无需手动配置基础设施
可扩展性：无缝处理可变工作负载，无需前期容量规划
灵活性：根据特定需求在按需和预置吞吐量之间自由选择

通过某中心管理控制台或API开始使用按需部署功能，体验灵活、经济高效的AI基础设施优势。