https://blog.qife122.com/tags/%E5%A4%9A%E8%AF%AD%E8%A8%80bert/ Recent content in 多语言BERT on 办公AI智能小助手 Hugo zh-cn qife Fri, 05 Sep 2025 21:49:28 +0800 https://blog.qife122.com/p/%E4%BD%8E%E8%B5%84%E6%BA%90%E5%AD%94%E5%8D%A1%E5%B0%BC%E8%AF%AD%E9%9A%90%E5%96%BB%E5%88%86%E7%B1%BB%E7%9A%84%E9%AB%98%E6%95%88%E5%89%AA%E6%9E%9D%E7%AD%96%E7%95%A5/ Fri, 05 Sep 2025 21:49:28 +0800 https://blog.qife122.com/p/%E4%BD%8E%E8%B5%84%E6%BA%90%E5%AD%94%E5%8D%A1%E5%B0%BC%E8%AF%AD%E9%9A%90%E5%96%BB%E5%88%86%E7%B1%BB%E7%9A%84%E9%AB%98%E6%95%88%E5%89%AA%E6%9E%9D%E7%AD%96%E7%95%A5/ <h1 id="摘要">摘要</h1> <p>本文解决了自然语言处理系统在处理比喻表达时面临的持续挑战，特别是在孔卡尼语等低资源语言中。提出了一种混合模型，该模型将预训练的多语言BERT（mBERT）与双向LSTM和线性分类器相结合。该架构基于新引入的隐喻分类标注数据集进行微调，该数据集是本研究工作的一部分。为提高模型效率，实施了基于梯度的注意力头剪枝策略。对于隐喻分类，剪枝后的模型达到了78%的准确率。该剪枝方法还扩展至现有习语分类任务，实现了83%的准确率。这些结果证明了注意力头剪枝在为代表性不足语言构建高效NLP工具方面的有效性。</p>