概述
某机构在营销合规行业提供全面的合规监管服务，通过AI驱动解决方案保护品牌和消费者。过去10多年已完成超过11亿次合规检测，自动化整个合规流程——从材料发布前审查到网站、电子邮件和社交媒体等面向消费者渠道的持续监控。
技术挑战
企业客户需要更高效的新产品页面合规检查流程，特别是那些在同一视觉和文本框架中集成多个产品的复杂页面。这些页面通常包含重叠内容，需要上下文感知解释，反映典型消费者查看和交互内容的方式。
解决方案架构
核心组件
- AI推理服务：通过某中心的基础模型进行内容提取和分析
- 应用推理配置：精确跟踪和优化推理成本
- 事件驱动服务器处理管道：使用事件总线、消息队列、无服务器函数、对象存储和NoSQL数据库处理动态工作负载
- 提示管理服务：支持提示词的版本控制、测试和部署
- 任务编排：使用消息队列高效管理工作队列
处理流程
- 上游ETL处理处理数百万页面
- 页面检索触发合规检查系统事件
- 对象存储根据元数据存储页面数据
- 事件总线将对象存储事件路由到消息队列
- 消息队列为处理排队消息并支持失败重试
- 无服务器函数消费队列消息并动态扩展：
- 使用基础模型进行内容提取和生成式AI分析
- 在NoSQL数据库中存储客户定义的产品模式
- 支持动态大语言模型定位和模式驱动输出生成
- 对象存储提取的数据，格式化为符合目标模式的结构化JSON
- 事件总线将对象存储事件转发到消息队列
- 在其他系统上运行合规检查和业务规则
成本优化
变更数据捕获
通过元数据哈希值识别页面内容变化，避免重复处理相同页面，人工评估任务工作量减少15%。
多通道推理优化
- 初始过滤：使用轻量级模型以最小成本识别相关产品
- 定向提取：将识别产品分批进行深度分析
- 上下文感知处理：通过先识别目标内容然后小批量处理，显著提高准确性同时最小化token消耗
提示工程实践
使用提示管理服务提供集中式解决方案，支持版本控制、管理和无缝部署提示到生产环境。通过标准化的模型调用接口，结合推理端点和提示管理，使无服务器函数高度可配置。
性能指标
预计每日处理150-200万页面，提取约40-50万产品，每天产生约50万需要审查的规则观察结果。
未来规划
探索提示缓存功能，预计可实现85%的延迟改进和90%的成本降低。同时评估可视化工作流构建器，用于编排多步骤生成式AI任务。
总结
通过采用无服务器AI驱动架构，实现了高效、经济高效的网络内容处理流程，能够动态扩展、优化AI推理成本并减少冗余处理，同时保持操作灵活性和合规完整性。