使用大语言模型合成训练数据
提示工程使研究人员能够为轻量级"学生"模型生成定制化的训练样本。
背景与挑战
驱动对话式AI的机器学习模型通常需要标注数据进行训练，但数据收集和标注过程成本高昂且复杂，形成开发瓶颈。虽然拥有200亿参数的某中心教师模型等大语言模型在少样本场景表现优异，但其模型规模和计算成本无法满足运行时系统对低延迟和高流量的要求。
教学式数据生成方法
为解决这一问题，提出教学式数据生成方法：使用基于大语言模型的"教师"模型为特定任务生成合成训练数据，然后利用生成的数据对更小的"学生"模型进行微调。
LINGUIST方案
针对联合意图分类和槽位标注任务，LINGUIST通过指令微调生成标注语句。该方法设计类似HTML/XML语法的指令提示，并采用带括号和数字的输出格式实现槽位自动标注。例如输出"[1 波士顿 ]“中数字"1"表示城市槽位标签。
关键技术特点：
- 通过修改提示中的语言指示词实现多语言数据生成
- 支持零样本场景下的标注数据生成
- 在SNIPS和mATIS++数据集上比现有方法提升2-4个点
CLASP方案
针对语义解析任务，CLASP提出四种提示策略：
- CLASP-RS：替换槽位值并生成对应文本
- CLASP-TS：通过翻译生成多语言数据
- CLASP-GB：同时生成解析结构和文本
- CLASP-TB：生成多语言的解析结构和文本
实验结果表明：
- 在PIZZA数据集上仅使用16个真实样本即可提升5个点准确率
- 在mTOP数据集上跨4种语言比机器翻译方法提升6个点
技术优势与应用
该方法通过利用大语言模型的强大生成能力，有效解决了低资源场景下的训练数据稀缺问题。生成的合成数据不仅包含文本内容，还包含完整的标注信息，显著降低了数据标注的成本和复杂度。目前该技术已应用于对话系统、问答系统等多个领域，并持续扩展到更多语言和任务类型。
未来展望
教学式数据生成方法在自然语言处理领域展现出巨大潜力，未来将继续探索在更多任务类型和语言上的应用，不断提升模型性能并优化客户体验。