解决方案概述
某机构采用生成式AI和某中心的基础模型服务应对核心挑战。该服务提供包括某中心Nova在内的多种模型选择，并持续扩展大规模使用基础模型的功能集，为构建高可用性内容处理系统奠定坚实基础。
解决方案包含以下核心组件：
- AI推理服务：通过某中心基础模型服务实现内容提取与分析
- 应用推理配置：支持精确跟踪和优化推理成本
- 事件驱动无服务器处理管道：采用事件总线、消息队列、无服务器计算、对象存储和NoSQL数据库构建轻量级可扩展架构
- 提示管理服务：支持提示词的版本控制、测试和部署，提升AI一致性和控制力
- 任务编排：使用消息队列高效管理工作队列，实现平滑可扩展的任务执行
系统架构
该机构实施可扩展的无服务器事件驱动架构，与现有系统无缝集成，开发部署时间不足一天。架构支持动态解析、提取和分析网页内容，具有高可靠性、灵活性和成本效益。
系统实现多种队列类型（接收队列、死信队列、结果队列）并包含错误处理机制。数据流经多个云服务：
- 关系数据库用于初始数据存储
- 消息中间件处理消息传递
- 对象存储进行资源存储
- 事件总线管理事件路由
- 消息队列管理队列
- 无服务器函数处理计算任务
- NoSQL数据库存储非结构化数据
处理流程
处理过程包含多个步骤：
- 数据处理：上游ETL流程处理数百万页面
- 事件触发与存储：
- 页面检索触发合规检查系统事件
- 对象存储根据元数据存储页面数据
- 事件总线将对象存储事件路由至消息队列
- 消息队列管理处理消息并支持失败重试
- 结构化输出与存储：
- 无服务器函数消费队列消息并动态扩展
- 使用基础模型服务进行内容提取和生成式AI分析
- 在NoSQL数据库中存储客户定义的产品模式，支持动态LLM定向和模式驱动输出生成
- 对象存储以符合目标模式的JSON格式存储提取数据
- 下游处理与合规检查：
- 事件总线将对象存储事件转发至消息队列
- 其他系统应用合规检查和业务规则验证监管要求
成本优化
解决方案提供多项成本优化措施：
变更数据捕获：
- 减少相同页面的冗余处理，人工评估任务量降低15%
- 避免未变更页面重新处理，分析师工作量减少50%
多轮次推理优化：
- 使用轻量级模型进行初始筛选，以最低成本识别相关产品
- 将识别产品分批传递给中型模型进行深度分析，在保持令牌限制的同时提高提取精度
- 通过上下文感知处理显著提高准确性，同时最小化令牌消耗
基础模型服务应用
在初始测试阶段，该机构意识到需要更可扩展的提示管理方法。手动跟踪多个提示版本和模板在迭代协作中效率低下。
基础模型服务的提示管理服务提供集中式解决方案，支持版本控制、管理和无缝部署提示词到生产环境。提示词部署后可在无服务器函数中动态引用，实现灵活配置。通过应用配置文件推理终端节点，可以动态调整函数调用的模型，跟踪每次调用成本，并通过成本标签将成本归因于特定应用实例。
为简化模型交互，选择标准化模型调用接口。当与推理终端节点和提示管理结合时，使用该接口的无服务器函数变得高度可配置——开发人员可以快速测试新模型和提示词，评估结果并迭代，无需重新构建或部署。
未来规划
该机构计划探索更多基础模型服务功能，包括提示缓存和工作流构建器。
提示缓存允许检查点提示令牌，有效缓存上下文以供后续API调用重用。与无提示缓存的调用相比，可提供高达85%的延迟改进和90%的成本降低。该机构认为提示缓存将成为未来标准功能。
工作流构建器是可视化工作流构建工具，使用户能够通过连接基础模型和API来编排多步骤生成式AI任务，无需大量编码。这将进一步简化知识库编排、提示缓存甚至未来智能体的协调。创建工作流有助于减少功能部署和维护时间。
总结
该机构实施了高度可扩展的无服务器AI驱动架构，提高网络内容处理流程的效率、成本效益和合规性。通过使用基础模型服务、事件总线、消息队列、无服务器函数和NoSQL数据库，构建了能够动态扩展、优化AI推理成本并减少冗余处理的解决方案，同时保持操作灵活性和合规完整性。
基于当前容量和工作流程，预计每天处理150万至200万个页面，从中提取约40万至50万个产品。此外，预计每天将对每个资源应用规则，产生约50万条需要审核的规则观察结果。
在整个设计过程中，确保解决方案尽可能简单，同时提供操作灵活性和完整性。这种方法最小化复杂性，增强可维护性，加速部署，使其能够快速适应不断变化的业务需求，而无需不必要的开销。
通过使用基于基础模型服务构建的无服务器AI驱动架构，帮助客户以无与伦比的准确性和效率处理最复杂的多产品网页。这种整体方法像典型消费者那样解释视觉和文本元素，确保准确评估每个产品变体的合规性。生成的洞察直接输入规则引擎，实现快速、数据驱动的决策。对客户而言，这意味着更少的冗余处理、更低的运营成本和显著简化的合规工作流程，同时不牺牲速度或准确性。通过减少大规模数据分析的开销和简化合规检查，最终使团队能够专注于推动创新和交付价值。