DoubleDipper：通过上下文回收改进长上下文大语言模型

尽管大语言模型（LLMs）近期取得进展，但在长上下文任务中的表现仍不理想。本研究提出DoubleDipper，一种新颖的上下文学习方法，通过回收上下文自动生成长上下文问答任务的少样本示例。

具体而言，给定长输入上下文（1-3千词）和查询，该方法从同一上下文中生成额外的查询-输出对作为少样本示例，同时仅引入一次上下文。这确保示例与目标查询共享相同上下文，且仅向提示中添加少量词元。

通过指令模型在回答前明确识别相关段落，进一步增强了每个示例的效果。这不仅提升了性能，还为答案来源提供了细粒度归因。在多个大语言模型上应用该方法后，在各种长上下文问答数据集上均取得显著改进（跨模型平均提升16个绝对百分点）。

令人惊讶的是，尽管仅引入单跳上下文学习示例，大语言模型使用该方法后成功泛化到多跳长上下文问答任务。