将大语言模型融入实用NLP工作流
实用工作流
- 监督学习：明确告诉计算机执行任务
- 需要足够高质量数据
- 结合机器学习与业务逻辑
大语言模型作为工具的优势
- 特异性更优
- 速度更优
- 隐私性更优
- 效果更优
当前问题
- 提示工程
- 结果不一致
- 非结构化响应
与大语言模型协同工作
- 迭代过程（提示优化、结果解析）
- 评估至关重要
- 增强而非替代任务特定模型
- 可编写脚本的工作流
- 人在回路机制
- 业务逻辑集成
实际应用流程
- 查询大语言模型并解析响应
- 根据需要调整提示
- 人工修正错误
- 将正确答案加入提示进行优化
- 生成并显示推理过程
现实应用场景
以"某机构以75亿美元收购软件开发平台GitHub"为例，展示了多层级处理流程：
- 文本分类
- 实体识别
- 实体链接
- 属性查询
- 货币标准化
核心总结
- 大语言模型是快速迭代创建优质数据的强大工具
- 始终需要任务特定数据
- 未来存在大量新应用可能性
未来工作方向
- 结果解析的数据结构
- 稳健评估的工作流
- 交互式提示测试
- 开源模型支持
演示工具：spaCy（工业级自然语言处理开源库，用户超10万，下载量1.3亿+） 标注工具：Prodigy（机器学习训练数据创建工具，用户超8000）