Nova 2 Lite现已登陆Vercel AI Gateway:统一API访问亚马逊最新推理模型

本文宣布亚马逊Nova 2 Lite模型现已通过Vercel AI Gateway提供。这是一款适用于日常工作的多模态推理模型,支持处理文本、图像和视频以生成文本。文章详细说明了如何通过AI SDK调用此模型、启用其推理功能,并介绍了AI Gateway的统一API、成本跟踪及高可用性特性。

Nova 2 Lite 现已通过 Vercel AI Gateway 提供

你现在可以通过 Vercel 的 AI Gateway 访问亚马逊的最新模型 Nova 2 Lite,而无需其他提供商账户。Nova 2 Lite 是一款适用于日常工作的推理模型,能够处理文本、图像和视频来生成文本。

要使用 Nova 2 Lite,请在 AI SDK 中将模型设置为 amazon/nova-2-lite。扩展思考功能默认是禁用的。若要为此模型启用推理,请在 providerOptions 中设置 maxReasoningEffort。推理内容会被编辑并如此显示,但用户仍需为这些令牌付费。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
import { streamText } from 'ai';

const result = streamText({
  model: 'amazon/nova-2-lite',
  prompt:
  `Derive a correct, optimal algorithm to detect all unique cycles in
   a directed graph, explaining each logical step and validating edge cases.`,
  providerOptions: {
    bedrock: {
      reasoningConfig: {
        maxReasoningEffort: 'medium' // 接受 low, medium 或 high
      },
    },
  },
});

AI Gateway 提供了一个统一的 API 用于调用模型、跟踪使用情况和成本,以及配置重试、故障转移和性能优化,以实现高于提供商水平的正常运行时间。它包含内置的可观测性、自带密钥支持以及具有自动重试功能的智能提供商路由。

请阅读文档,查看 AI Gateway 模型排行榜,或直接在我们的模型游乐场中使用该模型。

AI Gateway:按使用情况跟踪顶级 AI 模型

AI Gateway 模型排行榜根据通过网关的所有流量的总令牌量,对一段时间内使用最多的模型进行排名。定期更新。

准备部署?

使用免费账户开始构建。如需专业版或企业版需求,请与专家洽谈。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计