动态剪枝提升大语言模型效率的技术解析

提升LLM效率的动态节点剪枝技术

受到大脑专门处理区域启发的新型语言模型，能够显著节省时间和成本。

传统基础模型在处理新任务时，数据会通过所有处理节点（神经元）——即使这些节点与当前任务无关。这种"全员参与"的方法导致高计算需求和成本增加。

研究目标是构建能够根据任务动态选择适当神经元子集的模型，这类似于大脑依赖视觉或听觉皮层中专门神经元群来看或听的方式。这种基础模型可以适应多种输入类型（如语音和文本），跨越多种语言，并产生多种输出。

在国际学习表示会议（ICLR）上发表的论文中，提出了一种用于多语言语音识别、翻译和语言识别的新型上下文感知基础模型。该模型不是激活整个网络，而是根据输入上下文选择要激活的神经元束（或模块）。输入上下文包括输入语言类型、特定语言的语音特征，以及任务是语音翻译、语音识别还是语言识别等特征。

一旦模型识别出上下文，就会预测激活每个模块的可能性。这些可能性被称为门概率，每个门概率构成一个称为门预测器的过滤器。如果门概率超过某个阈值，相应的模块就会被激活。

例如，基于几个德语口语单词，模型可能会预测上下文是"德语音频"，其可能性超过门阈值。该预测会打开适当的子集路径，同时关闭其他路径。

先前的剪枝方法主要关注模型层和卷积核的细粒度剪枝。然而，层剪枝可能会损害模型的结构完整性，而细粒度核剪枝可能会抑制模型适应不同输入类型的能力。

模块级剪枝能够在结构灵活性和解释不同上下文的能力之间取得平衡。模型被训练在运行时动态剪枝不相关的模块，这鼓励每个模块专注于不同的任务。

在实验中，该模型展示了与传统模型相当的性能，但GPU使用量减少了30%，降低了成本并提高了速度。

除了节省计算资源外，该方法还可以观察模型在训练期间如何处理语言信息。对于任务的每个组成部分，可以看到各种模块使用的概率分布。例如，如果要求模型将德语语音转录为文本，则只会激活德语和口语模块。

这项工作专注于专门处理语音任务的基础模型。未来旨在探索该方法如何推广到处理更多输入的基础模型，包括视觉、语音、音频和文本。