Vertex AI生成式AI最新功能全面指南
生成式AI世界正以惊人的速度发展。感觉就在昨天我们还在惊叹AI生成的图像，如今我们已经可以与AI聊天机器人进行完整对话，这些机器人可以编写代码、创作诗歌甚至服务客户。
创新的步伐很难跟上——2023年我们在Vertex AI中推出了500多个新功能，今年我们也不会放慢脚步。我们整理了这篇博客，帮助您跟踪最重要的公告并理解它们对您的业务意味着什么。
Gemini模型更新
更新内容：新更新的Gemini 1.5 Pro和Flash模型版本均已正式发布，在数学、长上下文理解和视觉方面提供了质量改进。
重要性：我们的目标是通过在性能、延迟和成本方面突破界限，为您带来最适合企业用例的最佳模型。从延迟角度来看，新版本的Gemini 1.5 Flash比GPT-4o mini快近2.5倍。
开始使用：在Google Cloud控制台中访问Gemini 1.5 Pro和Flash。
Gemini 1.5 Pro降价
更新内容：我们将于2024年10月7日在Vertex AI上将Gemini 1.5 Pro的输入和输出令牌成本降低50%。
重要性：我们致力于让每个企业都能使用AI。
Imagen 3更新
更新内容：Google最新的图像生成模型，提供出色的图像质量、多语言支持、内置安全功能（如Google DeepMind的SynthID数字水印）以及支持多种宽高比。
重要性：与Imagen 2相比有多项改进——包括生成速度提高40%以上，便于快速原型设计和迭代；更好的提示理解和指令遵循；照片级真实感生成，包括人群；以及对图像内文本渲染的更大控制。
开始使用：申请在Vertex AI上访问Imagen 3。
控制生成正式发布
更新内容：控制生成让客户能够根据特定格式或模式定义Gemini模型输出。
重要性：大多数模型无法保证其输出的格式和语法，即使有指定指令。Vertex AI控制生成让客户可以通过预构建选项（如JSON和ENUM）或定义自定义格式来选择所需的输出格式。
开始使用：访问文档以了解更多信息。
批量API
更新内容：批量API（目前处于预览阶段）是一种超高效的方式，可发送大量非延迟敏感的文本提示请求，支持分类和情感分析、数据提取和描述生成等用例。
重要性：它通过允许在单个请求中向模型发送多个提示，帮助加速开发人员工作流程并降低成本。
开始使用：查看文档以开始使用。
Gemini 1.5 Flash和Pro的监督微调（SFT）
更新内容：Gemini 1.5 Flash和Pro的监督微调现已正式可用。SFT使用标记数据集调整模型行为，调整模型的权重以最小化其预测与实际标签之间的差异。
重要性：SFT允许您调整模型以更精确地执行企业任务。对于语言或内容与大型模型原始训练数据显著不同的特定领域应用特别有效。
开始使用：访问文档以了解更多信息。
Vertex AI中的蒸馏技术
更新内容：训练更小、专门的模型，这些模型继承较大Gemini模型的知识，在Vertex AI上自托管自定义模型实现可比较的性能。
重要性：部署大型语言模型可能是一个资源密集型的挑战。通过Vertex AI中的蒸馏技术，您可以利用这些大型模型的力量，同时保持部署的精简和高效。
开始使用：填写此表格以获取早期访问权限。
提示优化器（预览版）
更新内容：基于Google Research关于自动提示优化（APO）方法的出版物，提示优化器使用最佳指令和示例调整您的提示，以从所选模型中引出最佳性能。
重要性：Vertex AI的提示优化器帮助您避免提示工程的繁琐试错。此外，我们的提示策略指南帮助您使模型更加详细和对话式。
开始使用：在文档中了解更多信息。
提示管理SDK
更新内容：Vertex AI的提示管理SDK允许用户检索和组织提示。它允许您对提示进行版本控制、恢复旧提示并生成改进性能的建议。
重要性：这使得您更容易从生成式AI模型中大规模获得最佳性能，并更快地从实验迭代到生产。
开始使用：提示管理SDK将在未来几周内正式可用。
多模态函数调用
更新内容：函数调用是Gemini API的内置功能，可将自然语言转换为结构化数据并返回。
重要性：现在，通过多模态函数调用，您的代理还可以执行函数，用户可以提供图像和文本，帮助模型选择正确的函数和函数参数来调用。
开始使用：在文档中了解更多信息。
模型花园中的组织策略
更新内容：您现在可以管理模型花园中可用的模型。这包括限制对生成式AI功能的访问，仅限特定经过审查的模型，或调整和其他高级功能。组织策略可以应用于模型花园中的所有模型，以及通过模型花园从Hugging Face导入的模型。
重要性：控制通过模型花园提供的模型访问能力一直是许多寻求治理和控制工具的客户的首要任务。组织策略允许对模型进行细粒度访问控制，并在多提供商多模型时代增强Google Cloud的企业就绪性。
开始使用：在文档中了解更多信息。
端到端模型构建平台
Vertex AI模型构建器使您能够构建或自定义自己的模型，具备从原型到生产所需的所有功能。
Gemini 1.5 Pro和Flash的上下文缓存降低成本
更新内容：上下文缓存是一种技术，涉及存储对话或交互的先前部分（“上下文”）在内存中，以便模型在生成新响应时可以引用它。
重要性：随着上下文长度的增加，对于长上下文应用程序来说，获取响应可能昂贵且缓慢，难以部署到生产环境。Vertex AI上下文缓存通过利用频繁使用上下文的缓存数据，帮助客户显著降低输入成本达75%。如今，Google是唯一提供上下文缓存API的提供商。
开始使用：在文档中了解更多信息。
新模型监控功能
更新内容：新的Vertex AI模型监控包括：
- 支持在Vertex AI外部托管的模型（例如GKE、Cloud Run，甚至多云和混合云）
- 在线和批量预测的统一监控作业管理
- 简化配置和指标可视化，附加到模型而非端点
重要性：Vertex AI的新模型监控功能为部署在任何服务基础设施（甚至在Vertex AI外部，例如Google Kubernetes Engine、Cloud Run、Google Compute Engine等）上的模型提供了更灵活、可扩展和一致的监控解决方案。
开始使用：在此博客中了解更多信息。
Ray on Vertex AI正式发布
更新内容：Ray提供了一个全面且易于使用的Python分布式框架。使用Ray，您可以配置可扩展的计算资源集群，并利用一系列特定领域的库来高效分发常见的AI/ML任务，如训练、服务和调整。
重要性：此集成使AI开发人员能够在Vertex AI的多功能基础设施上轻松扩展其AI工作负载，从而释放机器学习、数据处理和分布式计算的全部潜力。
开始使用：阅读博客以了解更多信息。
提示管理
更新内容：Vertex AI提示管理（现处于预览阶段）提供了一个提示库，供团队使用，包括版本控制、恢复旧提示的选项以及AI生成的改进提示性能的建议。
重要性：此功能使组织更容易从生成式AI模型中大规模获得最佳性能，并更快地从实验迭代到生产。客户可以并排比较提示迭代，以评估小更改如何影响输出，并且该服务提供注释和标记等功能以促进协作。
开始使用：访问文档以了解更多信息。
生成式AI评估服务
更新内容：我们现在支持正式发布的生成式AI评估，以帮助用户评估任何生成式模型或应用程序。虽然排行榜和报告提供了对整体模型性能的洞察，但它们并未揭示模型如何处理您的特定需求。生成式AI评估服务帮助您定义自己的评估标准，确保清楚了解生成式AI模型和应用程序与您的独特用例的匹配程度。
重要性：评估在生成式AI开发过程的每个步骤中都很重要，包括模型选择、提示工程和模型定制。评估生成式AI已集成到Vertex AI中，以帮助您根据需要启动和重用评估。
开始使用：在文档中了解更多信息。
更快地开发和部署基于企业事实的代理
Vertex AI Agent Builder使您能够轻松快速地构建和自定义AI代理 - 适用于任何技能水平。Vertex AI Agent Builder的核心组件是Vertex AI搜索，使您能够将模型基于您的数据或网络。
Vertex中的基础设置
您在Vertex有许多基础设置和RAG选项。这些功能解决了限制生成式AI在企业中采用的一些最重大障碍：模型不知道其训练数据之外的信息，以及基础模型"幻觉"或生成令人信服但事实上不准确信息的趋势。
使用Google搜索的基础设置正式发布
更新内容：当客户为其Gemini模型选择使用Google搜索的基础设置时，Gemini将使用Google搜索，并生成基于相关互联网搜索结果的基础输出。使用Google搜索的基础设置还提供动态检索，这是一种新功能，通过智能选择何时使用Google搜索结果以及何时使用模型的训练数据，帮助客户平衡质量与成本效率。
重要性：使用Google搜索的基础设置简单易用，并使世界知识对Gemini可用。动态检索将节省您的资金并节省用户的时间，仅在需要时进行基础设置。
开始使用：阅读文档以了解如何开始。
使用第三方数据集的基础设置
更新内容：Vertex AI将提供一项新服务，让客户能够使用专业的第三方数据为基础设置其模型和AI代理。我们正在与Moody’s、MSCI、Thomson Reuters和Zoominfo等提供商合作，以启用对其数据集的访问。
重要性：这些功能将帮助客户构建提供更准确和有用响应的AI代理和应用程序。
开始使用：即将推出，联系销售以了解更多信息。
使用高保真模式的基础设置
更新内容：高保真模式由经过微调的Gemini 1.5 Flash版本提供支持，该版本仅使用客户提供的内容生成答案，并确保响应中的高度事实性。
重要性：在金融服务、医疗保健和保险等数据密集型行业中，生成式AI用例通常要求生成的响应仅来自提供的上下文，而不是模型的世界知识。使用高保真的基础设置（以实验预览形式宣布）专门构建以支持此类基础设置用例，包括跨多个文档的摘要、针对一组金融数据的数据提取或跨预定义文档集的处理。
开始使用：联系销售以了解更多信息。
扩展向量搜索以支持混合搜索
更新内容：向量搜索是为Vertex AI搜索、DIY RAG和全球规模的其他嵌入用例提供支持的超高性能向量数据库，现在在公共预览中提供混合搜索。
重要性：嵌入是捕获复杂数据（文本、图像等）语义关系的数字表示。嵌入支持多个用例，包括推荐系统、广告服务和RAG的语义搜索。混合搜索结合了基于向量和基于关键字的搜索技术，以确保为用户提供最相关和准确的响应。
开始使用：访问文档以了解有关向量搜索的更多信息。
Vertex上的LangChain
更新内容：LangChain的代理开发SDK和容器运行时。通过Vertex AI上的LangChain，您可以选择要使用的模型，定义工具以访问外部API，在编排框架中构建用户和系统组件之间的接口，并将框架部署到托管运行时。
重要性：Vertex AI上的LangChain简化并加速了部署，同时安全、私密且可扩展。
开始使用：访问文档以了解更多信息。
Vertex AI扩展、函数调用和数据连接器
更新内容：
- Vertex AI扩展是预构建的可重用模块，用于将基础模型连接到特定API或工具。例如，我们的新代码解释器扩展使模型能够执行需要运行Python代码的任务，例如数据分析、数据可视化和数学运算。
- Vertex AI函数调用使用户能够描述一组函数或API，并让Gemini模型智能地选择，对于给定查询，正确的API或函数调用以及适当的API参数。
- Vertex AI数据连接器帮助从企业和第三方应用程序（如ServiceNow、Hadoop和Salesforce）摄取数据，将生成式应用程序连接到常用的企业系统。
重要性：凭借这些功能，Vertex AI Agent Builder使增强基础设置输出并代表用户采取行动变得容易。
开始使用：访问文档以了解有关Vertex AI扩展、函数调用和数据连接器的更多信息。
Firebase Genkit
更新内容：Genkit是Firebase设计的开源TypeScript/JavaScript和Go框架，旨在简化生产就绪AI应用程序的开发、部署和监控。
重要性：通过Genkit的Vertex AI插件，开发人员现在可以利用Google模型，如Gemini和Imagen 2，以及文本嵌入。此外，Vertex Eval Service已融入Genkit本地开发体验以及OpenTelemetry跟踪。
开始使用：在文档中了解更多信息。
Vertex AI上的LlamaIndex
更新内容：Vertex AI上的LlamaIndex简化了构建自己的检索增强生成（RAG）搜索引擎，从数据摄取和转换到嵌入、索引、检索和生成。
重要性：Vertex AI客户可以利用Google的模型和AI优化基础设施以及LlamaIndex的简单、灵活、开源数据框架，将自定义数据源连接到生成式模型。
开始使用：访问文档以了解更多信息。
基于规模和企业就绪性的基础
生成式AI的革命性性质需要一个提供组织可以依赖的隐私、安全、控制和合规能力的平台。Google Cloud致力于帮助我们的客户利用生成式AI的全部潜力，同时具备隐私、安全和合规能力。
动态共享配额
更新内容：通过动态共享配额，我们将模型（在线服务）的配额限制增加到每个区域允许的最大值。这样，我们通过Servo站（多区域）上运行的所有查询的共享容量来限制客户可以运行的每秒查询数（QPS），而不是通过配额限制客户的QPS。
重要性：通过动态分配按需容量 among all queries being processed for Pay-as-you-go customers, Google Cloud has eliminated the need to submit quota increase requests (QIRs). Customers can still set a self-imposed quota called a consumer quota override to control cost and prevent budget overruns.
开始使用：在文档中了解更多信息。
预配置吞吐量正式发布
更新内容：预配置吞吐量让客户能够负责任地扩展他们对Google第一方模型（如1.5 Flash）的使用，为容量和价格提供保证。
重要性：此Vertex AI功能为客户生产工作负载带来了可预测性和可靠性，为他们提供了积极扩展生成式AI工作负载所需的保证。我们还通过自助服务流程使客户比以往更容易设置PT。客户现在可以通过控制台估计他们的需求并为Google的1P基础模型购买预配置吞吐量，将预批准订单的端到端体验从几周缩短到几分钟，并消除了手动订单表格的需要。
开始使用：按照这些步骤购买预配置吞吐量订阅。
更多国家的静态数据存储数据驻地保证
更新内容：我们在23个国家（其中13个在2024年添加）拥有静态数据存储的数据驻地保证，并围绕将相关ML处理限制在美国和欧盟的额外保证。我们还在努力将我们的ML处理承诺扩展到另外八个国家，从2024年的四个国家开始。
重要性：客户，尤其是受监管行业的客户，在使用生成式AI功能时要求控制其数据的存储和处理位置。
开始使用：在此处了解更多信息。
要跟上所有最新发布，别忘了查看我们的Vertex AI发布说明。
所有这些增强功能都是对您，我们的客户，一直要求的内容的直接回应。我们相信企业AI平台是生产成功的关键，我们的目标不仅是构建最佳平台，还要提供一个使企业级AI可访问的AI生态系统。