技术架构
传统基础模型（如大语言模型）在处理任务时需激活全部神经元节点，导致计算资源浪费。新架构通过以下创新解决该问题：
-
动态模块化剪枝
- 输入上下文（如语言类型、任务类型）触发门预测器计算各模块激活概率（gate probability），超过阈值则激活对应模块。
- 例如：德语语音输入仅激活德语处理模块，关闭无关路径。
-
结构优势
- 相比传统层剪枝（损害结构完整性）或卷积核剪枝（限制输入适应性），模块化剪枝平衡灵活性与任务特异性。
- 实验显示：GPU使用量减少30%，速度提升且精度无损。
-
可解释性
- 训练过程中可观测模块激活分布（如德语语音转文本任务仅激活特定语言模块）。
实验与展望
- 当前聚焦语音任务基础模型，未来计划扩展至视觉、文本等多模态输入处理。
- 核心论文发表于ICLR 2025，相关成果参见《Context-aware dynamic pruning for speech foundation models》。