概述
检索增强生成（RAG）是连接大语言模型与企业知识库的关键技术。然而构建可靠的RAG管道需要反复测试分块策略、嵌入模型、检索技术等配置。传统手动管理方式易导致结果不一致、故障排查耗时等问题。
通过集成某中心SageMaker AI与MLflow实验跟踪，可实现RAG工作流的自动化编排。该方案支持：
- 数据分块策略对比（固定尺寸分块与递归分块）
- 向量嵌入与OpenSearch向量数据库集成
- 基于LangGraph的智能体工作流追踪
- 多维度评估指标（答案相似度、正确性、相关性）
技术架构
实验跟踪体系
采用分层式实验结构，在MLflow中建立顶层实验运行，并为每个管道阶段创建嵌套运行：
- 数据准备：记录数据集版本和预处理步骤
- 数据分块：跟踪分块策略和分块重叠参数
- 数据注入：记录嵌入模型和向量数据库指标
- 检索生成：捕获检索模型和上下文大小参数
- 评估阶段：记录LLM评估指标和样本结果
自动化管道
通过SageMaker Pipelines将验证后的配置转化为生产就绪的自动化管道，提供两种部署模式：
- 单步管道：适用于简单场景，整体工作流统一执行
- 多步管道：企业级方案，支持模块化组件替换和扩展
核心组件
-
数据分块引擎
- 固定尺寸分块器（FixedSizeChunker）
- 递归分块器（RecursiveChunker）
- 支持分块大小、重叠度等参数调节
-
向量处理层
- 使用HuggingFace文本嵌入模型
- OpenSearch Service作为向量数据库
- k近邻（k-NN）检索配置
-
智能体工作流
- LangGraph框架实现状态管理
- 检索-生成序列化执行
- 全流程追踪日志记录
CI/CD集成
通过GitHub Actions实现持续集成：
- 代码变更自动触发管道执行
- 版本控制与MLflow实验记录联动
- 支持跨环境自动晋升验证
评估体系
采用多维度评估指标：
- 传统启发式指标
- 内容相似度指标
- LLM-as-a-judge评估（正确性、相关性、忠实度）
技术优势
- 可重现性：管道定义包含所有依赖项和配置
- 参数化：支持关键RAG参数动态调整
- 监控能力：每个步骤提供详细日志和指标
- 治理支持：内置溯源追踪和审计功能
该方案通过自动化管道和实验跟踪的深度集成，为企业级RAG应用提供从开发到生产的完整技术支撑。