社会化学习：基于大语言模型的协作学习

2024年3月7日
Amirkeivan Mohtashami（研究实习生）与 Florian Hartmann（软件工程师），Google Research

我们提出了一个社会化学习框架，使大语言模型（LLMs）能够以隐私感知的方式通过自然语言相互共享知识。我们在多个数据集上评估该框架的有效性，并提出量化方法来衡量此场景下的隐私保护程度。

快速链接

• 论文
• [分享]

大语言模型在自然语言任务处理方面显著提升了技术水平，性能常接近人类水平。随着这些模型逐渐成为辅助代理，让它们像人类在社会环境中那样有效相互学习将大有裨益，从而使基于LLM的代理能够提升彼此性能。

受Bandura和Walters 1977年提出的社会化学习概念启发，我们在论文《社会化学习：基于大语言模型的协作学习》中探讨了LLMs是否能够通过社会化学习相互学习。我们设计了一个框架，使LLMs以隐私感知的方式通过自然语言共享知识，并在多个数据集上评估其有效性，同时提出量化隐私保护的方法。与依赖梯度的联邦学习等传统协作学习方法不同，我们的框架中代理完全通过自然语言进行教学。

LLM的社会化学习

我们将社会化学习扩展到语言模型，考虑学生LLM从多个已掌握任务的教师实体学习的场景。在论文中，我们评估了学生在短信垃圾邮件检测、小学数学问题解答和文本问答等多种任务上的表现。

语言模型在仅需少量示例的情况下展现出色任务执行能力——这一过程称为少样本学习。基于此，我们提供人工标注的任务示例，使教师模型能够指导学生。社会化学习的主要应用场景出现在这些示例因隐私问题无法直接共享时。

以垃圾邮件检测任务为例：教师模型位于设备端，用户自愿标记接收的短信为“垃圾”或“非垃圾”。这些数据有助于训练学生模型区分垃圾邮件，但共享个人信息会侵犯隐私。通过社会化学习过程，教师模型的知识可以转移给学生，使其学习垃圾邮件的特征而无需共享用户原始短信。

我们使用PaLM 2-S模型作为教师和学生，通过实验验证这种社会化学习方法的有效性。

合成示例

作为传统社会化学习中实时教学模型的对应方法，我们提出教师生成任务的新合成示例并与学生共享的学习方法。这种方法基于以下理念：可以创建与原始示例足够不同但同样具有教育意义的新示例。实验表明，生成的示例与真实示例差异足够大以保护隐私，同时保持与使用原始示例相当的性能。

我们在多个任务上评估通过合成示例学习的效果。当示例数量足够时（如n=16），在大多数任务中，共享原始数据与通过社会化学习使用合成数据教学之间无显著统计差异，表明隐私改进不必以模型质量下降为代价。

唯一例外是垃圾邮件检测任务，使用合成数据教学准确率较低。这可能因为当前模型的训练过程使其偏向只生成非垃圾邮件示例。论文中还研究了选择优质示例子集的聚合方法。

合成指令

鉴于语言模型在遵循指令方面的成功，言语指令模型也可自然适配语言模型：教师生成任务指令。实验显示，提供生成的指令有效提升了零样本提示的性能，达到与使用原始示例的少样本提示相当的准确率。但发现教师模型在某些任务（如输出格式复杂时）可能无法提供优质指令。

在Lambada、GSM8k和随机插入任务中，提供合成示例优于生成指令；而在其他任务中生成指令获得更高准确率。这表明教学方法的选择取决于具体任务，类似于人类教学中最有效方法因任务而异。

私有示例的记忆性

我们希望社会化学习中的教师能在不泄露原始数据细节的情况下指导学生。为量化该过程的信息泄露风险，我们采用Secret Sharer方法（评估模型记忆训练数据程度的流行方法）并适配到社会化学习场景。

我们将包含名称和代码的“金丝雀”数据点设计到教师生成新示例的数据集中。社会化学习完成后，测量学生对教师使用的秘密数据点的置信度相较于未共享的类似数据点的提升程度。分析结果显示，学生对教师使用的金丝雀示例仅略微更自信；而直接共享原始数据时，对包含的金丝雀置信度远高于保留集。这证明教师确实使用数据教学而非简单复制。

结论与下一步工作

我们提出了一个社会化学习框架，使能访问私有数据的语言模型通过文本通信传递知识同时保护数据隐私。在该框架中，我们确定了共享示例和共享指令作为基本模式，并在多个任务上进行了评估。此外，我们适配了Secret Sharer指标，提出了衡量数据泄露的度量方法。

下一步工作将改进教学过程（如添加反馈循环和迭代），并探索社会化学习在文本之外模态的应用。

致谢

感谢论文合著者Matt Sharifi、Sian Gooding、Lukas Zilka和Blaise Aguera y Arcas。同时感谢Victor Cărbune、Zachary Garrett、Tautvydas Misiunas、Sofia Neata和John Platt的反馈，以及Tom Small制作动画图表。

标签： 机器智能，自然语言处理

快速链接： [论文]，[分享]

其他相关文章

• 2025年7月10日 《关系数据的图基础模型》（算法与理论 · 机器智能）
• 2025年7月9日 《MedGemma：我们最强大的健康AI开发开源模型》（生成式AI · 健康与生物科学 · 机器智能）
• 2025年6月30日 《我们如何在Google地图中创建HOV专用预计到达时间》（算法与理论 · 数据挖掘与建模 · 机器智能）