提示工程：新一代特征工程技术

在自然语言处理领域，大型语言模型正日益成为核心工具。某机构应用科学家指出，为实现最大效用，这些模型需生成连贯一致的输出，并能识别不同表达方式的提示。

提示工程的兴起

“过去我们采用特征工程，通过添加不同表征或特征来调整统计模型。如今随着大型语言模型的出现，提示及其各种变体成为引导模型的新方式。“专家表示。

像GPT-3这样的大型语言模型通过上下文预测词序列。足够大的模型在经过充分训练后，能够编码整个语言的词序列概率。提示即为模型生成文本的基础输入。

提示不仅可以是词序列（类似计算机终端命令），还包括软提示（向量形式），也称为任务特定嵌入或任务嵌入。任务嵌入帮助模型执行模式切换，例如指示生成文本应使用特定语言的语言向量。

虽然大型语言模型长期作为自然语言处理模型的基础，但提示提供了直接访问模型编码知识的途径。词语间的统计关系承载语义信息：一个能够为"1940年选举中，富兰克林·罗斯福击败……“找到最高概率结论的模型，实际上可以为用户提供世界知识。

不同提示可能对人类读者表达相同语义内容，但仍会引发大型语言模型的不同响应。需要更多研究来构建和评估对提示具有鲁棒性的模型。

提示工程使大型语言模型能够进行少样本泛化。通过提供示例支持的提示，模型可以在少量样本基础上学习新任务。

大型语言模型现在可以组合多个任务。例如"从两岁儿童视角总结文档"或"从科学家视角总结文档”，模型应产生截然不同的输出。它们学会基于输入词语进行组合，实现风格转换、摘要生成甚至多语言处理。

最近出现的有趣论文展示了如何训练模型，使其在响应提示前生成思维链。思维链生成帮助模型提供更好答案，仿佛模型在自言自语。关键挑战是如何自动评估提供推理输出的模型。

除了词序列预测，添加其他类型的结构信息可能带来更好的模型。模型依赖词语的位置信息，这些信息可以通过多种方式丰富——包括在句法树中的位置，或是否位于文档表格中。许多优秀研究正在探索如何让模型感知语言结构甚至文档结构，而不只是依赖纯词序列。

通过持续优化提示工程方法，大型语言模型将在保持输出一致性和准确性的同时，获得更强的任务适应性和推理能力。