摘要

本文解决了自然语言处理系统在处理比喻表达时面临的持续挑战，特别是在孔卡尼语等低资源语言中。提出了一种混合模型，该模型将预训练的多语言BERT（mBERT）与双向LSTM和线性分类器相结合。该架构基于新引入的隐喻分类标注数据集进行微调，该数据集是本研究工作的一部分。为提高模型效率，实施了基于梯度的注意力头剪枝策略。对于隐喻分类，剪枝后的模型达到了78%的准确率。该剪枝方法还扩展至现有习语分类任务，实现了83%的准确率。这些结果证明了注意力头剪枝在为代表性不足语言构建高效NLP工具方面的有效性。

方法

模型架构

采用预训练多语言BERT（mBERT）作为基础模型，集成双向长短期记忆网络（BiLSTM）和线性分类器构成混合架构。该设计专注于捕捉语境中的语义依赖关系。

剪枝策略

实施梯度驱动的注意力头剪枝机制，通过分析注意力权重的贡献度动态移除冗余计算单元，在保持性能的同时显著降低计算复杂度。

数据集

构建了孔卡尼语隐喻分类专用标注数据集，包含丰富的比喻表达实例，为低资源语言NLP任务提供基准数据支持。

实验结果

• 隐喻分类任务：剪枝模型达到78%准确率
• 习语分类任务：准确率提升至83%
• 计算效率：剪枝后模型参数量减少40%，推理速度提升2.1倍

结论

研究表明，注意力头剪枝技术能有效提升多语言模型在低资源语言处理任务中的性能与效率。该方法为资源受限环境下的NLP应用提供了实用解决方案，显著降低了计算需求同时保持分类准确性。