https://blog.qife122.com/tags/%E4%BD%8E%E7%A7%A9%E8%BF%91%E4%BC%BC/ Recent content in 低秩近似 on 办公AI智能小助手 Hugo zh-cn qife Mon, 08 Sep 2025 06:22:49 +0800 https://blog.qife122.com/p/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%AF%8D%E5%B5%8C%E5%85%A5%E7%9F%A9%E9%98%B5%E5%8E%8B%E7%BC%A9%E6%8A%80%E6%9C%AF%E7%AA%81%E7%A0%B4/ Mon, 08 Sep 2025 06:22:49 +0800 https://blog.qife122.com/p/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%AF%8D%E5%B5%8C%E5%85%A5%E7%9F%A9%E9%98%B5%E5%8E%8B%E7%BC%A9%E6%8A%80%E6%9C%AF%E7%AA%81%E7%A0%B4/ <h1 id="语言模型词嵌入矩阵压缩技术">语言模型词嵌入矩阵压缩技术</h1> <p>预训练语言模型（PLMs）如BERT、RoBERTa和DeBERTa在特定任务数据上微调后，在自然语言推理、情感分类和问答等任务中表现出卓越性能。PLMs通常包含词嵌入矩阵、带有注意力机制的深度神经网络和输出层。由于词汇表规模庞大，词嵌入矩阵往往占据模型很大比重：例如占BERT模型大小的21%以上，RoBERTa的31.2%。此外，由于词频差异，词嵌入矩阵存在大量冗余。因此，任何能压缩词嵌入矩阵的技术都有可能与其他模型压缩方法互补，提高压缩比。</p> https://blog.qife122.com/p/%E6%A0%B8%E5%87%BD%E6%95%B0%E9%80%BC%E8%BF%91%E6%96%B9%E6%B3%95%E7%A0%94%E7%A9%B6%E6%96%B0%E8%BF%9B%E5%B1%95/ Thu, 04 Sep 2025 04:47:18 +0800 https://blog.qife122.com/p/%E6%A0%B8%E5%87%BD%E6%95%B0%E9%80%BC%E8%BF%91%E6%96%B9%E6%B3%95%E7%A0%94%E7%A9%B6%E6%96%B0%E8%BF%9B%E5%B1%95/ <h1 id="核函数逼近方法研究">核函数逼近方法研究</h1> <p>统计学习中多种方法建立在再生核希尔伯特空间的核函数基础上。在实际应用中，通常根据问题和数据特征选择核函数，随后利用该核函数在未观测解释数据点处推断响应变量。</p>