Vertex AI生成式AI最新功能全面指南

生成式AI的世界正以惊人的速度发展。感觉就在昨天我们还在惊叹AI生成的图像，如今我们已经可以与AI聊天机器人进行完整对话，这些机器人能够编写代码、创作诗歌甚至服务客户。

创新的步伐令人难以跟上——2023年我们在Vertex AI中引入了500多项新功能，今年我们也不会放慢脚步。我们整理这篇博客是为了帮助您跟踪最重要的公告，并理解它们对您的业务意味着什么。随着新公告的发布，我们将不断更新此内容，请收藏此链接并查看下面的新视频系列。

Gemini模型更新

Gemini模型更新

内容：新更新的Gemini 1.5 Pro和Flash模型版本均已正式上市，在数学、长上下文理解和视觉方面提供了质量改进
重要性：我们的目标是通过在性能、延迟和成本方面突破界限，为您带来最适合企业用例的最佳模型。从延迟角度来看，新版本的Gemini 1.5 Flash比GPT-4o mini快近2.5倍
开始使用：在Google Cloud控制台中访问Gemini 1.5 Pro和Flash

Gemini 1.5 Pro降价

内容：我们将Gemini 1.5 Pro的输入和输出令牌成本降低50%，于2024年10月7日在Vertex AI上生效
重要性：我们致力于让每个企业都能使用AI。8月份，我们改进了Gemini 1.5 Flash，将成本降低高达80%。这些世界级模型可以与上下文缓存等功能结合，进一步降低长上下文查询的成本和延迟。对延迟不敏感的任务使用Batch API而不是标准请求可以进一步优化成本
开始使用：访问定价页面了解更多信息

Imagen 3更新

Imagen 3更新

内容：Google最新的图像生成模型，提供出色的图像质量、多语言支持、内置安全功能（如Google DeepMind的SynthID数字水印）以及支持多种宽高比
重要性：与Imagen 2相比有几项改进——包括生成速度快40%以上，便于快速原型设计和迭代；更好的提示理解和指令遵循；照片级真实感生成，包括人群；以及对图像内文本渲染的更大控制
开始使用：申请在Vertex AI上访问Imagen 3

控制生成正式上市

控制生成正式上市

内容：控制生成让客户根据特定格式或模式定义Gemini模型输出
重要性：即使有指定指令，大多数模型也无法保证其输出的格式和语法。Vertex AI控制生成让客户通过预构建选项（如JSON和ENUM）或定义自定义格式来选择所需的输出格式
开始使用：访问文档了解更多信息

批量API

批量API

内容：批量API（目前处于预览阶段）是一种超级高效的方式，可发送大量对延迟不敏感的文本提示请求，支持分类和情感分析、数据提取和描述生成等用例
重要性：它通过允许在单个请求中将多个提示发送到模型，帮助加速开发人员工作流程并降低成本
开始使用：查看文档开始使用

Gemini 1.5 Flash和Pro的监督微调

Gemini 1.5 Flash和Pro的监督微调

内容：Gemini 1.5 Flash和Pro的监督微调现已正式上市。监督微调使用带标签的数据集调整模型行为，调整模型的权重以最小化其预测与实际标签之间的差异
重要性：监督微调允许您调整模型以更精确地执行企业任务。对于语言或内容与大型模型原始训练数据显著不同的特定领域应用特别有效
开始使用：访问文档了解更多信息

Vertex AI中的蒸馏技术

Vertex AI中的蒸馏技术

内容：训练更小、专门的模型，继承较大Gemini模型的知识，在Vertex AI上自托管自定义模型实现可比较的性能
重要性：部署大型语言模型可能是一项资源密集型挑战。通过Vertex AI中的蒸馏技术，您可以利用这些大型模型的力量，同时保持部署的精简和高效
开始使用：填写此表单获取早期访问权限

提示优化器预览版

提示优化器预览版

内容：基于Google Research关于自动提示优化方法的出版物，提示优化器使用最佳指令和示例调整您的提示，从所选模型中引出最佳性能
重要性：Vertex AI的提示优化器帮助您避免提示工程的繁琐试错。此外，我们的提示策略指南帮助您使模型更加详细和对话化
开始使用：在文档中了解更多信息

提示管理SDK

提示管理SDK

内容：Vertex AI的提示管理SDK允许用户检索和组织提示。它允许您对提示进行版本控制、恢复旧提示并生成改进性能的建议
重要性：这使得您更容易大规模从生成式AI模型获得最佳性能，并更快地从实验迭代到生产
开始使用：提示管理SDK将在未来几周内正式上市

多模态函数调用

多模态函数调用

内容：函数调用是Gemini API的内置功能，将自然语言转换为结构化数据并返回
重要性：现在，通过多模态函数调用，您的代理还可以执行函数，用户可以提供图像和文本，帮助模型选择正确的函数和函数参数进行调用
开始使用：在文档中了解更多信息

模型花园中的组织策略

模型花园中的组织策略

内容：您现在可以管理模型花园中可用的模型。这包括限制对生成式AI功能的访问，仅限特定审查模型，或调整和其他高级功能。组织策略可以应用于模型花园中的所有模型，以及通过模型花园从Hugging Face导入的模型。这些策略可以在组织、文件夹或项目资源上设置，以对该资源及任何子资源强制执行约束
重要性：控制通过模型花园提供的模型访问能力一直是许多寻求治理和控制工具的客户的首要任务。组织策略允许对模型进行精细访问控制，并在多提供商多模型时代增强Google Cloud的企业就绪性
开始使用：在文档中了解更多信息

先前公告

来自Google和行业的最佳模型

我们致力于为企业提供最佳模型 - Vertex AI模型花园提供150多个来自Google、合作伙伴和开放社区的模型，客户可以根据价格、性能和延迟考虑选择合适模型。

无论您使用什么基础模型，它都附带企业就绪工具和与我们端到端平台的集成。

Gemini 1.5 Flash正式上市

内容：Gemini 1.5 Flash结合低延迟、极具竞争力的定价和我们100万令牌的上下文窗口
重要性：Gemini 1.5 Flash是各种大规模用例的优秀选择，从零售聊天代理到文档处理，再到可以合成整个存储库的研究代理
开始使用：点击此处立即开始在Vertex AI上使用Gemini 1.5 Flash

Gemini 1.5 Flash降价

内容：我们更新了Gemini 1.5 Flash，从2024年8月12日起将输入成本降低高达约85%，输出成本降低高达约80%
重要性：这是Gemini Flash的大幅降价，这是一个具有100万上下文窗口和多模态输入的世界级模型。此外，结合上下文缓存等功能，您可以显著降低长上下文查询的成本和延迟。对延迟不敏感的任务使用Batch API而不是标准请求可以进一步优化成本
开始使用：查看定价了解更多信息并立即试用Gemini 1.5 Flash

Gemini 1.5 Pro正式上市，具备200万令牌上下文能力

内容：现在提供行业领先的200万令牌上下文窗口，Gemini 1.5 Pro能够解锁其他模型无法处理的独特多模态用例
重要性：处理仅六分钟的视频需要超过10万令牌，大型代码库可能超过100万令牌——因此无论用例涉及在无数行代码中查找错误、在研究库中定位正确信息，还是分析数小时的音频或视频，Gemini 1.5 Pro扩展的上下文窗口正在帮助组织开辟新天地
开始使用：点击此处立即开始使用

Gemini支持更多语言

内容：我们使Gemini 1.5 Flash和Gemini 1.5 Pro能够理解和响应100多种语言
重要性：我们让全球社区更容易以其母语提示和接收响应
开始使用：查看文档了解更多信息

Gemma 2

内容：Google开放模型家族的下一代，旨在让开发人员和研究人员能够分享和商业化他们的创新，使用创建Gemini的相同技术
重要性：提供90亿和270亿参数大小，Gemma 2比第一代更强大和高效，内置显著的安全改进
开始使用：在此处访问Vertex AI上的Gemma 2

Meta的Llama 3.1

内容：Llama 3.1模型现已在Vertex AI上作为按需付费API提供，包括405B、70B和8B（9月初推出）
重要性：405B是迄今为止最大的开放可用基础模型。8B和70B也是新版本，擅长理解语言细微差别、掌握上下文和执行复杂任务，如翻译和对话生成。您可以使用模型即服务在几次点击中访问新模型，无需任何设置或基础设施麻烦
开始使用：要访问Llama 3.1，请访问模型花园

Mistral AI的最新模型

内容：我们添加了Mistral Large 2、Nemo和Codestral（Google Cloud是第一个引入Codestral的超大规模提供商）
重要性：Mistral Large 2是他们的旗舰模型，提供迄今为止最佳性能和多功能性，Mistral Nemo是一个120亿参数模型，以一小部分成本提供卓越性能。Codestral是Mistral AI的第一个专为代码生成任务设计的开放权重生成式AI模型。您可以使用模型即服务在几次点击中访问新模型，无需任何设置或基础设施麻烦
开始使用：要访问Mistral AI模型，请访问模型花园或查看文档

AI21 Labs的Jamba 1.5模型家族

内容：Jamba 1.5模型家族——AI21 Labs的新开放模型家族——在Vertex AI模型花园中处于公开预览阶段，包括：
- Jamba 1.5 Mini：AI21最高效和轻量级模型，为速度和在客户支持、文档摘要和文本生成等任务中的效率而设计
- Jamba 1.5 Large：AI21最先进和最大的模型，可以处理高级推理任务——如财务分析——具有卓越的速度和效率
重要性：AI21的新模型加入了Vertex AI模型花园中已有的150多个模型，进一步扩展您的选择和灵活性，以选择最适合您需求和预算的模型，并跟上持续快速的创新步伐
开始使用：在Vertex AI模型花园中选择Jamba 1.5 Mini或Jamba 1.5 Large模型图块

Anthropic的Claude 3.5 Sonnet

内容：我们最近将Anthropic新发布的模型Claude 3.5 Sonnet添加到Vertex AI。这扩展了我们提供的Anthropic模型集合，包括Claude 3 Opus、Claude 3 Sonnet、Claude 3 Haiku。您可以使用模型即服务在几次点击中访问新模型，无需任何设置或基础设施麻烦
重要性：我们致力于通过我们在Vertex AI上提供的精选第一方、开放和第三方模型集合来增强客户选择和创新
开始使用：开始在Vertex AI上实验或部署Claude 3.5 Sonnet

端到端模型构建平台，每个级别都有选择

Vertex AI模型构建器使您能够构建或自定义自己的模型，具备从原型到生产所需的所有功能。

Gemini 1.5 Pro和Flash的上下文缓存降低成本

内容：上下文缓存是一种技术，涉及存储对话或交互的先前部分在内存中，以便模型在生成新响应时可以引用它
重要性：随着上下文长度增加，长上下文应用程序获取响应可能昂贵且缓慢，难以部署到生产环境。Vertex AI上下文缓存通过利用频繁使用上下文的缓存数据，帮助客户显著降低输入成本达75%。今天，Google是唯一提供上下文缓存API的提供商
开始使用：在文档中了解更多信息

新模型监控功能

内容：新的Vertex AI模型监控包括：
- 支持在Vertex AI外部托管的模型
- 在线和批量预测的统一监控作业管理
- 简化配置和指标可视化，附加到模型而非端点
重要性：Vertex AI的新模型监控功能为部署在任何服务基础设施上的模型提供了更灵活、可扩展和一致的监控解决方案
开始使用：在此博客中了解更多信息

Ray on Vertex AI正式上市

内容：Ray提供了一个全面且易于使用的Python分布式框架。使用Ray，您可以配置可扩展的计算资源集群，并利用一系列领域特定库来高效分发常见的AI/ML任务
重要性：此集成使AI开发人员能够在Vertex AI的多功能基础设施上轻松扩展其AI工作负载，释放机器学习、数据处理和分布式计算的全部潜力
开始使用：阅读博客了解更多信息

提示管理

内容：Vertex AI提示管理，现处于预览阶段，提供了团队间使用的提示库，包括版本控制、恢复旧提示的选项以及AI生成的改进提示性能的建议
重要性：此功能使组织更容易大规模从生成式AI模型获得最佳性能，并更快地从实验迭代到生产。客户可以并排比较提示迭代以评估小变化如何影响输出，服务提供注释和标记等功能以促进协作
开始使用：访问文档了解更多信息

生成式AI评估服务

内容：我们现在正式支持生成式AI评估，帮助用户评估任何生成式模型或应用程序。虽然排行榜和报告提供了整体模型性能的见解，但它们并未揭示模型如何处理您的特定需求。生成式AI评估服务帮助您定义自己的评估标准，确保清楚了解生成式AI模型和应用程序与您独特用例的匹配程度
重要性：评估在生成式AI开发过程的每个步骤都很重要，包括模型选择、提示工程和模型定制。评估生成式AI集成在Vertex AI中，帮助您根据需要启动和重用评估
开始使用：在文档中了解更多信息

更快地开发和部署代理，基于您的企业真实情况

Vertex AI代理构建器允许您轻松快速地构建和自定义AI代理 - 适用于任何技能水平。Vertex AI代理构建器的核心组件是Vertex AI搜索，使您能够将模型基于您的数据或网络。

在Vertex上的基础

您在Vertex有许多基础选项。这些功能解决了限制生成式AI在企业中采用的一些最重要障碍：模型不知道其训练数据之外的信息，以及基础模型"幻觉"或生成令人信服但事实不准确信息的趋势。检索增强生成是一种为缓解这些挑战而开发的技术，首先"检索"关于问题的信息，然后在"生成"答案之前将这些信息提供给模型——这就是我们所说的基础。快速获取相关信息以增强模型知识最终是一个搜索问题。

使用Google Search的基础正式上市

内容：当客户为其Gemini模型选择使用Google Search基础时，Gemini将使用Google Search，并生成基于相关互联网搜索结果的基础输出。使用Google Search的基础还提供动态检索，这是一种新功能，通过智能选择何时使用Google Search结果和何时使用模型的训练数据，帮助客户平衡质量与成本效率
重要性：使用Google Search的基础简单易用，使Gemini能够利用世界知识。动态检索将节省您的资金并节省用户时间，仅在需要时进行基础
开始使用：阅读文档了解如何开始

使用第三方数据集的基础

内容：Vertex AI将提供一项新服务，让客户能够使用专门的第三方数据基础其模型和AI代理。我们正在与Moody’s、MSCI、Thomson Reuters和Zoominfo等提供商合作，以启用对其数据集的访问
重要性：这些功能将帮助客户构建提供更准确和有用响应的AI代理和应用程序
开始使用：即将推出，联系销售了解更多信息

使用高保真模式的基础

内容：高保真模式由经过微调的Gemini 1.5 Flash版本提供支持，仅使用客户提供的内容生成答案，并确保响应中的高度事实性
重要性：在金融服务、医疗保健和保险等数据密集型行业，生成式AI用例通常要求生成的响应仅来自提供的上下文，而不是模型的世界知识。使用高保真的基础，宣布处于实验预览阶段，专门构建以支持此类基础用例，包括跨多个文档的摘要、针对一组金融数据的数据提取或跨预定义文档集的处理
开始使用：联系销售了解更多信息

扩展向量搜索以支持混合搜索

内容：向量搜索是为Vertex AI搜索、DIY RAG和全球规模的其他嵌入用例提供支持的超高性能向量数据库，现在在公开预览中提供混合搜索
重要性：嵌入是捕获跨复杂数据的语义关系的数字表示。嵌入支持多个用例，包括推荐系统、广告服务和RAG的语义搜索。混合搜索结合基于向量和基于关键字的搜索技术，确保为用户提供最相关和准确的响应
开始使用：访问文档了解更多关于向量搜索的信息

Vertex上的LangChain

内容：LangChain的代理开发SDK和容器运行时。使用Vertex AI上的LangChain，您可以选择要使用的模型，定义工具以访问外部API，在编排框架中构建用户和系统组件之间的接口，并将框架部署到托管运行时
重要性：Vertex AI上的LangChain简化并加速部署，同时安全、私密且可扩展
开始使用：访问文档了解更多信息

Vertex AI扩展、函数调用和数据连接器

内容：
- Vertex AI扩展是预构建的可重用模块，将基础模型连接到特定API或工具
- Vertex AI函数调用使用户能够描述一组函数或API，并让Gemini模型智能选择，对于给定查询，调用正确的API或函数以及适当的API参数
- Vertex AI数据连接器帮助从企业和第三方应用程序摄取数据，将生成式应用程序连接到常用的企业系统
重要性：借助这些功能，Vertex AI代理构建器使增强基础输出并代表用户采取行动变得容易
开始使用：访问文档了解更多关于Vertex AI扩展、函数调用和数据连接器的信息

Firebase Genkit

内容：Genkit是Firebase设计的开源TypeScript/JavaScript和Go框架，旨在简化生产就绪AI应用程序的开发、部署和监控
重要性：借助Genkit的Vertex AI插件，开发人员现在可以利用Google模型以及文本嵌入。此外，Vertex评估服务与OpenTelemetry跟踪一起融入Genkit本地开发体验
开始使用：在文档中了解更多信息

Vertex AI上的LlamaIndex

内容：Vertex AI上的LlamaIndex简化了构建自己的检索增强生成搜索引擎，从数据摄取和转换到嵌入、索引、检索和生成
重要性：Vertex AI客户可以利用Google的模型和AI优化基础设施以及LlamaIndex的简单、灵活、开源数据框架，将自定义数据源连接到生成式模型
开始使用：访问文档了解更多信息

建立在规模和企业就绪性的基础上

生成式AI的革命性性质需要一个提供组织可以依赖的隐私、安全、控制和合规功能的平台。Google Cloud致力于帮助我们的客户利用生成式AI的全部潜力，同时具备隐私、安全和合规功能。我们的目标是通过保护系统、实现透明度和提供灵活、始终可用的基础设施来建立信任，同时将努力基于我们的AI原则。

动态共享配额

内容：通过动态共享配额，我们将模型（在线服务）的配额限制增加到每个区域允许的最大值。这样，我们通过Servo站上运行的所有查询的共享容量来限制客户可以运行的每秒查询数，而不是通过配额限制客户的每秒查询数
重要性：通过在所有按需付费客户的查询之间动态分配按需容量，Google Cloud消除了提交配额增加请求的需要。客户仍然可以设置自我施加的配额来控制成本并防止预算超支
开始使用：在文档中了解更多信息

预配置吞吐量正式上市

内容：预配置吞吐量让客户负责任地扩展他们对Google第一方模型的使用，为容量和价格提供保证
重要性：此Vertex AI功能为客户生产工作负载带来可预测性和可靠性，给他们积极扩展生成式AI工作负载所需的保证。我们还通过自助服务流程使客户比以往更容易设置预配置吞吐量
开始使用：按照这些步骤购买预配置吞吐量订阅

更多国家的静态数据存储的数据驻留保证

内容：我们在23个国家有静态数据存储的数据驻留保证，并围绕将相关ML处理限制在美国和欧盟的额外保证。我们还在努力将我们的ML处理承诺扩展到另外八个国家，从2024年的四个国家开始
重要性：客户，尤其是受监管行业的客户，在使用生成式AI功能时要求控制其数据存储和处理的位置
开始使用：在此处了解更多信息

要跟上所有最新发布，别忘了查看我们的Vertex AI发布说明。

所有这些增强都是对您——我们的客户——一直要求的内容的直接回应。我们相信企业AI平台是生产成功的关键，我们的目标不仅是构建最佳平台，还要提供一个使企业规模AI可访问的AI生态系统。

要了解Vertex AI如何帮助您，请联系我们进行免费咨询。