某中心生成式AI购物助手的技术实现

“冷天打高尔夫需要准备什么？”“越野跑鞋和普通跑鞋有什么区别？”“适合五岁儿童的最佳恐龙玩具有哪些？”这些开放式问题顾客通常会在实体店向销售助理咨询。但在线上购物时，顾客该如何获取这些信息？

定制化大型语言模型构建

大多数大型语言模型通过通用数据集训练后，再针对特定领域进行定制。该购物助手从初始阶段就主要使用购物数据进行训练——包括完整的商品目录、用户评论以及社区问答数据。研究人员构建了先进的定制大型语言模型，整合这些数据源及网络公开信息，并精心策划每个数据源对模型训练的贡献比例。

采用某云平台的大数据服务进行分布式数据处理，并使用领先的云存储解决方案存储数据。这两项服务为构建定制模型提供了安全可靠的基础架构。

检索增强生成技术实现精准回答

为应对可能出现的各种问题，该助手需要能够超越训练数据范围，利用未见过的信息。这正是检索增强生成技术的用武之地：在生成回复前，大型语言模型会先筛选可能有助于回答购物者问题的信息。

该助手从已知可靠来源获取信息，包括用户评论、商品目录和社区问答，同时调用相关商店API。其检索增强生成流程的独特性体现在数据源的多样性，以及根据不同问题各数据源相关性的差异。

通过强化学习持续优化

每个大型语言模型和生成式AI应用都在持续演进。为了让助手随时间推移变得更加有用，需要了解哪些回复有帮助，哪些需要改进。通过强化学习过程，用户反馈成为最佳优化来源。系统鼓励用户提供反馈，让模型了解他们对回答的喜好。随着时间的推移，助手从用户反馈中学习并改进回复，生成更能帮助用户购物的答案。

专用AI芯片实现低延迟高吞吐

该助手需要能够同时与数百万客户交互而没有任何明显延迟。这在生成式AI应用计算强度极大的情况下尤其具有挑战性。

为最小化延迟同时最大化吞吐量，团队采用了集成核心云服务的专用AI芯片。与编译器团队合作实施了优化措施以提高模型推理效率，这些优化已向所有云平台客户开放。选择自主研发的AI芯片使团队能够快速行动、规模化部署并跟上客户需求。

然而，对于大型语言模型，标准的批处理请求方法仍可能影响吞吐量和延迟。这是因为预测大型语言模型生成回复时会产生多少文本单元具有难度。研究人员与云服务平台合作，使助手能够使用连续批处理——一种新颖的大型语言模型推理专用技术，在生成每个文本单元后为新请求做出路由决策。这使得模型能够在批次中第一个请求完成后立即开始服务新请求，而不是等待所有请求完成，从而让购物者更快获得答案。

流式架构设计

我们希望助手为任何给定问题提供最相关和最有用的答案。有时是长文本回答，有时是短文本，或者是可点击的链接帮助客户浏览商店。

以易于客户理解的方式呈现答案本身存在技术难点。信息需要遵循逻辑流程。如果分组和格式不正确，可能会导致令人困惑的无用回复。

通过先进的流式架构，该助手能够提供自然的客户体验。基于文本单元级别的端到端流式传输意味着客户无需等待长答案完全生成。相反，他们在其余部分仍在进行时就能获得答案的第一部分。助手通过向内部系统发出查询，将正确数据填充到流式响应中——这一过程称为水合作用。系统经过训练生成标记指令，指定各种回答元素的显示方式，除了回答客户问题外，还为客户提供独特有用的体验。

尽管某中心使用AI改善客户体验已超过25年，但生成式AI代表了某种新的变革——对于某中心、其客户以及那些能够构建超越我们想象体验的科学团队来说。我们很高兴通过生成式AI加速为客户创新的步伐，并相信它将在未来几个月和几年内改变每个客户体验。