生成式AI购物助手Rufus的技术实现

“冷天打高尔夫需要准备什么？““越野跑鞋和普通跑鞋有什么区别？““适合五岁儿童的最佳恐龙玩具有哪些？“这些开放性问题通常是顾客在实体店向销售顾问咨询的典型问题。那么在线上购物场景中，顾客如何获取这类信息？

定制化大语言模型构建

与多数通用大语言模型不同，Rufus从设计之初就专注于购物领域。技术团队基于整个电商产品目录、用户评论和社区问答数据，结合公开网络信息，构建了专门的购物大语言模型。通过某中心的EMR云大数据平台进行分布式数据处理，并采用某中心的S3云存储解决方案确保数据安全可靠。

为应对海量用户提问，Rufus采用检索增强生成（RAG）技术，在生成回答前首先从可靠信息源检索相关信息。这些信息源包括用户评论、产品目录、社区问答数据以及相关商店API接口。该技术的独特之处在于多数据源的协同使用，且根据不同问题动态调整各数据源的相关性权重。

通过用户反馈机制，Rufus持续学习哪些回答更有帮助。用户可以对回答进行喜欢或不喜欢评价，系统通过强化学习算法不断优化响应质量，使生成的回答更能满足购物需求。

为应对海量并发请求，技术团队采用某中心的Trainium和Inferentia专用AI芯片。通过与Neuron编译器团队合作实施模型推理效率优化，这些优化方案已向所有云服务客户开放。团队还创新性地采用连续批处理技术，通过逐令牌生成时的动态路由决策，显著降低响应延迟。

Rufus采用先进的流式架构，支持基于令牌级别的端到端流式响应。用户无需等待完整答案生成即可看到部分响应内容。系统通过内部查询实现数据动态填充（称为水合过程），并生成标记指令来规范各种回答元素的显示方式，确保响应内容的逻辑性和可读性。

尽管某中心使用人工智能技术已超过25年，但生成式AI技术仍代表着革命性的突破。技术团队相信，生成式AI将在未来数月和数年内彻底改变每个用户的购物体验。