https://blog.qife122.com/tags/%E6%A8%A1%E5%9E%8B%E5%8E%8B%E7%BC%A9/ Recent content in 模型压缩 on 办公AI智能小助手 Hugo zh-cn qife Sat, 04 Oct 2025 10:13:07 +0800 https://blog.qife122.com/p/%E8%AE%BE%E5%A4%87%E7%AB%AF%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%8A%80%E6%9C%AF%E4%BC%98%E5%8C%96%E6%96%B9%E6%A1%88/ Sat, 04 Oct 2025 10:13:07 +0800 https://blog.qife122.com/p/%E8%AE%BE%E5%A4%87%E7%AB%AF%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%8A%80%E6%9C%AF%E4%BC%98%E5%8C%96%E6%96%B9%E6%A1%88/ <h1 id="如何实现实用的设备端语音识别">如何实现实用的设备端语音识别</h1> <p>分支编码器网络提高运行效率，而&quot;神经差分&quot;技术则降低模型更新的带宽需求。</p> <p>历史上，语音助手的自动语音识别模型一直在云端运行。但近年来，我们一直致力于将更多计算能力转移到网络边缘——即语音助手设备本身。转向边缘设备有望实现更快的响应时间、降低互联网带宽消耗，并在网络连接不稳定的设备上保持可用性。</p> https://blog.qife122.com/p/bart%E6%A8%A1%E5%9E%8B%E5%8E%8B%E7%BC%A9%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ Wed, 24 Sep 2025 02:02:54 +0800 https://blog.qife122.com/p/bart%E6%A8%A1%E5%9E%8B%E5%8E%8B%E7%BC%A9%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ <h1 id="压缩bart模型以实现资源受限环境运行">压缩BART模型以实现资源受限环境运行</h1> <h2 id="技术背景">技术背景</h2> <p>希望与人类进行可信对话的机器需要掌握多种自然语言处理（NLP）技能，包括文本摘要、信息抽取和问答系统。这些技能使得虚拟个人助手能够在线搜索晚餐食谱或回答随机问题。</p> https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%89%AA%E6%9E%9D%E6%96%B0%E8%B7%AF%E5%BE%84%E8%BD%BB%E5%89%AA%E5%B8%B8%E5%B0%9D%E4%BC%98%E5%8C%96%E6%B3%95/ Tue, 23 Sep 2025 18:10:43 +0800 https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%89%AA%E6%9E%9D%E6%96%B0%E8%B7%AF%E5%BE%84%E8%BD%BB%E5%89%AA%E5%B8%B8%E5%B0%9D%E4%BC%98%E5%8C%96%E6%B3%95/ <h1 id="大语言模型剪枝的优化路径">大语言模型剪枝的优化路径</h1> <p>近年来，大语言模型（LLMs）彻底改变了自然语言处理领域，并对计算机视觉、语音识别和机器翻译做出重大贡献。LLMs有效性的关键因素之一是其训练所使用的超大规模数据集。但代价是模型规模过大，导致运行速度变慢和计算资源消耗增加。AI研究人员深知这些挑战，许多团队正在寻求在保持性能的同时使大模型更紧凑的方法。</p> https://blog.qife122.com/p/ijcai2025%E6%9D%B0%E5%87%BA%E8%AE%BA%E6%96%87%E5%A5%96ai%E4%BC%A6%E7%90%86%E4%B8%8E%E9%AB%98%E6%95%88%E8%AE%A1%E7%AE%97%E7%AA%81%E7%A0%B4/ Tue, 23 Sep 2025 17:01:21 +0800 https://blog.qife122.com/p/ijcai2025%E6%9D%B0%E5%87%BA%E8%AE%BA%E6%96%87%E5%A5%96ai%E4%BC%A6%E7%90%86%E4%B8%8E%E9%AB%98%E6%95%88%E8%AE%A1%E7%AE%97%E7%AA%81%E7%A0%B4/ <h1 id="ijcai2025杰出论文奖获奖名单公布">IJCAI2025杰出论文奖获奖名单公布</h1> <p>国际人工智能联合会议（IJCAI）杰出论文奖旨在表彰每年会议上展示的最佳论文。在今年会议开幕式上，三篇论文被评选为杰出论文。</p> <h2 id="获奖论文摘要">获奖论文摘要</h2> <h3 id="结合多目标强化学习与约束螺栓学习规范行为">结合多目标强化学习与约束螺栓学习规范行为</h3> <p><strong>作者：Emery A. Neufeld, Agata Ciabattoni, Radu Florin Tulcan</strong></p> https://blog.qife122.com/p/%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%8E%8B%E7%BC%A9%E7%9A%84%E7%BB%93%E6%9E%84%E5%89%AA%E6%9E%9D%E4%B8%8E%E6%81%A2%E5%A4%8D%E6%8A%80%E6%9C%AF%E5%AE%9E%E8%AF%81%E7%A0%94%E7%A9%B6/ Sun, 21 Sep 2025 11:45:34 +0800 https://blog.qife122.com/p/%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%8E%8B%E7%BC%A9%E7%9A%84%E7%BB%93%E6%9E%84%E5%89%AA%E6%9E%9D%E4%B8%8E%E6%81%A2%E5%A4%8D%E6%8A%80%E6%9C%AF%E5%AE%9E%E8%AF%81%E7%A0%94%E7%A9%B6/ <h1 id="多模态大语言模型压缩的结构剪枝与恢复技术实证研究">多模态大语言模型压缩的结构剪枝与恢复技术实证研究</h1> <h2 id="摘要">摘要</h2> <p>尽管多模态大语言模型（MLLMs）展现出卓越能力，但其巨大的计算和内存需求严重阻碍实际部署。现有参数缩减技术主要通过从小型语言模型（SLMs）训练MLLMs实现，但这些方法灵活性有限且仍需要大量计算。为弥补这一空白，本研究通过结构剪枝结合高效恢复训练直接压缩现有MLLMs。</p> https://blog.qife122.com/p/%E5%9F%BA%E7%A1%80%E9%98%85%E8%AF%BB%E8%92%B8%E9%A6%8F%E6%8A%80%E6%9C%AF%E6%8F%90%E5%8D%87%E5%B0%8F%E6%A8%A1%E5%9E%8B%E6%80%A7%E8%83%BD/ Sat, 20 Sep 2025 20:08:49 +0800 https://blog.qife122.com/p/%E5%9F%BA%E7%A1%80%E9%98%85%E8%AF%BB%E8%92%B8%E9%A6%8F%E6%8A%80%E6%9C%AF%E6%8F%90%E5%8D%87%E5%B0%8F%E6%A8%A1%E5%9E%8B%E6%80%A7%E8%83%BD/ <h1 id="基础阅读蒸馏">基础阅读蒸馏</h1> <p>大语言模型(LLM)在自然语言处理各领域展现出卓越能力，但其高计算资源需求限制了实际部署。蒸馏技术通过知识蒸馏或任务蒸馏来解决此问题。这两种蒸馏方法均训练小模型模仿LLM的特定特征，但都忽略了小模型在<strong>与下游任务无关</strong>的通用文本上进行基础阅读教育。</p> https://blog.qife122.com/p/bert%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%8A%A0%E9%80%9F20%E5%80%8D%E7%9A%84%E6%8A%80%E6%9C%AF%E7%AA%81%E7%A0%B4/ Sat, 20 Sep 2025 19:52:23 +0800 https://blog.qife122.com/p/bert%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%8A%A0%E9%80%9F20%E5%80%8D%E7%9A%84%E6%8A%80%E6%9C%AF%E7%AA%81%E7%A0%B4/ <h1 id="bert语言模型加速20倍的技术突破">BERT语言模型加速20倍的技术突破</h1> <h2 id="核心创新">核心创新</h2> <p>通过结合两种专门设计的神经网络压缩算法，从BERT架构中提取出高度优化的语言模型Bort。该模型在保持性能的同时大幅提升效率。</p> <h2 id="技术方法">技术方法</h2> <h3 id="最优子架构提取ose">最优子架构提取(OSE)</h3> <ul> <li>将网络压缩问题形式化为寻找最优架构参数（层数、每层处理节点数等）</li> <li>证明对于满足ABnC属性的网络（如BERT），存在完全多项式时间近似方案(FPTAS)</li> <li>所得架构在参数大小、推理速度和错误率之间达到帕累托最优</li> </ul> <h3 id="agora算法">Agora算法</h3> <ul> <li>针对小模型微调时的数据稀缺问题设计</li> <li>通过开发集中错误样本的邻域采样和标注来增强训练数据</li> <li>理论证明能够重建任务的原始数据分布</li> </ul> <h2 id="性能表现">性能表现</h2> <ul> <li>有效参数量仅为原始BERT的5.5%（净大小16%）</li> <li>CPU推理速度提升20倍</li> <li>在23项NLU任务中，20项性能超过原始BERT</li> <li>最高相对性能提升达31%</li> </ul> <h2 id="技术意义">技术意义</h2> <p>该方法不仅适用于BERT，还可推广到其他神经网络架构，为模型压缩提供了理论保证和实用算法。</p> https://blog.qife122.com/p/bart%E6%A8%A1%E5%9E%8B%E5%8E%8B%E7%BC%A9%E6%8A%80%E6%9C%AF%E5%AE%9E%E7%8E%B0%E9%AB%98%E6%95%88%E9%83%A8%E7%BD%B2/ Thu, 18 Sep 2025 03:57:08 +0800 https://blog.qife122.com/p/bart%E6%A8%A1%E5%9E%8B%E5%8E%8B%E7%BC%A9%E6%8A%80%E6%9C%AF%E5%AE%9E%E7%8E%B0%E9%AB%98%E6%95%88%E9%83%A8%E7%BD%B2/ <h1 id="资源受限场景下的bart模型压缩技术">资源受限场景下的BART模型压缩技术</h1> <h2 id="技术背景">技术背景</h2> <p>机器要实现与人类流畅对话需掌握多项自然语言处理（NLP）能力，包括文本摘要、信息抽取和问答系统。正是这些技术使得虚拟助手能够在线搜索食谱或回答随机问题。</p> https://blog.qife122.com/p/%E7%AE%80%E5%8C%96bert%E6%A8%A1%E5%9E%8B%E6%8F%90%E5%8D%87%E6%95%88%E7%8E%87%E4%B8%8E%E5%A4%84%E7%90%86%E8%83%BD%E5%8A%9B/ Wed, 17 Sep 2025 10:19:43 +0800 https://blog.qife122.com/p/%E7%AE%80%E5%8C%96bert%E6%A8%A1%E5%9E%8B%E6%8F%90%E5%8D%87%E6%95%88%E7%8E%87%E4%B8%8E%E5%A4%84%E7%90%86%E8%83%BD%E5%8A%9B/ <h1 id="简化基于bert的模型以提高效率和容量">简化基于BERT的模型以提高效率和容量</h1> <p>新方法使基于BERT的自然语言处理模型能够处理更长的文本字符串，在资源受限的环境中运行——有时甚至能同时实现两者。</p> <h2 id="背景">背景</h2> <p>近年来，自然语言处理（NLP）领域许多性能最佳的模型都建立在BERT语言模型之上。BERT模型在大量（未标记）公共文本语料库上进行预训练，编码词序列的概率。由于BERT模型开始时对整体语言有广泛了解，因此可以用相对较少的标记数据对更针对性的任务（如问答或机器翻译）进行微调。</p> https://blog.qife122.com/p/%E8%AE%BE%E5%A4%87%E7%AB%AF%E8%AF%AD%E9%9F%B3%E5%A4%84%E7%90%86%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90%E6%8F%90%E9%80%9F%E9%99%8D%E8%80%97%E6%96%B0%E7%AA%81%E7%A0%B4/ Wed, 17 Sep 2025 01:17:41 +0800 https://blog.qife122.com/p/%E8%AE%BE%E5%A4%87%E7%AB%AF%E8%AF%AD%E9%9F%B3%E5%A4%84%E7%90%86%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90%E6%8F%90%E9%80%9F%E9%99%8D%E8%80%97%E6%96%B0%E7%AA%81%E7%A0%B4/ <h2 id="系统架构">系统架构</h2> <p>设备端自动语音识别（ASR）模型接收语音信号后，输出按概率排序的语音识别假设集合。这些假设以网格（lattice）形式呈现，其中边线代表识别出的词汇及其接续概率。</p> https://blog.qife122.com/p/%E6%8E%A8%E7%90%86%E9%98%B6%E6%AE%B5%E5%88%A9%E7%94%A8%E6%95%99%E5%B8%88%E7%9F%A5%E8%AF%86%E5%A2%9E%E5%BC%BA%E5%AD%A6%E7%94%9F%E6%A8%A1%E5%9E%8B/ Mon, 15 Sep 2025 11:24:36 +0800 https://blog.qife122.com/p/%E6%8E%A8%E7%90%86%E9%98%B6%E6%AE%B5%E5%88%A9%E7%94%A8%E6%95%99%E5%B8%88%E7%9F%A5%E8%AF%86%E5%A2%9E%E5%BC%BA%E5%AD%A6%E7%94%9F%E6%A8%A1%E5%9E%8B/ <h2 id="方法概述">方法概述</h2> <p>知识蒸馏（KD）是在低延迟需求环境中部署大规模语言模型的最有效方法之一，其通过将大规模教师模型的知识转移到小型学生模型来实现。学生模型虽因体积小而更高效，但性能通常弱于教师模型。</p> https://blog.qife122.com/p/bert%E6%A8%A1%E5%9E%8B%E7%AE%80%E5%8C%96%E6%8F%90%E5%8D%87%E6%95%88%E7%8E%87%E4%B8%8E%E5%AE%B9%E9%87%8F/ Tue, 09 Sep 2025 19:59:00 +0800 https://blog.qife122.com/p/bert%E6%A8%A1%E5%9E%8B%E7%AE%80%E5%8C%96%E6%8F%90%E5%8D%87%E6%95%88%E7%8E%87%E4%B8%8E%E5%AE%B9%E9%87%8F/ <h1 id="简化基于bert的模型以提高效率和容量">简化基于BERT的模型以提高效率和容量</h1> <p>新方法使基于BERT的自然语言处理模型能够处理更长的文本字符串，在资源受限的环境中运行——有时甚至能同时实现这两个目标。</p> <p>近年来，自然语言处理（NLP）领域许多性能最佳的模型都建立在BERT语言模型之上。BERT模型在大量（未标记）公共文本语料库上进行预训练，编码单词序列的概率。由于BERT模型始于对语言整体的广泛知识，它可以用相对较少的标记数据针对更具体的任务（如问答或机器翻译）进行微调。</p> https://blog.qife122.com/p/%E9%A2%86%E5%9F%9F%E6%95%B0%E6%8D%AE%E5%9C%A8nlu%E6%A8%A1%E5%9E%8B%E8%92%B8%E9%A6%8F%E4%B8%AD%E7%9A%84%E5%85%B3%E9%94%AE%E4%BD%9C%E7%94%A8/ Tue, 09 Sep 2025 04:38:21 +0800 https://blog.qife122.com/p/%E9%A2%86%E5%9F%9F%E6%95%B0%E6%8D%AE%E5%9C%A8nlu%E6%A8%A1%E5%9E%8B%E8%92%B8%E9%A6%8F%E4%B8%AD%E7%9A%84%E5%85%B3%E9%94%AE%E4%BD%9C%E7%94%A8/ <h1 id="领域数据优于教师知识nlu模型蒸馏的关键发现">领域数据优于教师知识：NLU模型蒸馏的关键发现</h1> <p>在自然语言理解任务中，仅使用任务特定数据训练的学生模型性能优于混合通用数据的模型。</p> <p>知识蒸馏是一种流行的模型压缩技术，可将大型机器学习模型压缩至适合语音助手等低延迟应用的规模。蒸馏过程中，轻量级模型（称为学生）通过特定数据集（转移集）学习模仿源模型（称为教师）。转移集的选择对生成高质量学生模型至关重要，但如何选择尚不明确。</p> https://blog.qife122.com/p/%E6%B7%B1%E5%85%A5%E8%A7%A3%E6%9E%90%E8%8B%B9%E6%9E%9C%E7%AB%AF%E4%BE%A7%E4%B8%8E%E6%9C%8D%E5%8A%A1%E5%99%A8%E5%9F%BA%E7%A1%80%E6%A8%A1%E5%9E%8B%E6%8A%80%E6%9C%AF%E6%9E%B6%E6%9E%84/ Tue, 09 Sep 2025 02:59:22 +0800 https://blog.qife122.com/p/%E6%B7%B1%E5%85%A5%E8%A7%A3%E6%9E%90%E8%8B%B9%E6%9E%9C%E7%AB%AF%E4%BE%A7%E4%B8%8E%E6%9C%8D%E5%8A%A1%E5%99%A8%E5%9F%BA%E7%A1%80%E6%A8%A1%E5%9E%8B%E6%8A%80%E6%9C%AF%E6%9E%B6%E6%9E%84/ <h3 id="突破沉默苹果的硬件独立战略">突破沉默：苹果的硬件独立战略</h3> <p>苹果在WWDC明确表示其AI体系完全不依赖NVIDIA硬件与CUDA API：训练使用基于TPU和Apple Silicon的AXLearn框架，服务器推理运行于Apple Silicon芯片，端侧API采用CoreML和Metal。这一方面源于商业考量（避免GPU供应短缺），另一方面推动其软硬件协同优化，但同时也面临重复历史安全漏洞（如LeftoverLocals）的风险。</p> https://blog.qife122.com/p/%E7%AE%80%E5%8C%96bert%E6%A8%A1%E5%9E%8B%E6%8F%90%E5%8D%87%E6%95%88%E7%8E%87%E4%B8%8E%E5%A4%84%E7%90%86%E8%83%BD%E5%8A%9B/ Sun, 07 Sep 2025 15:03:33 +0800 https://blog.qife122.com/p/%E7%AE%80%E5%8C%96bert%E6%A8%A1%E5%9E%8B%E6%8F%90%E5%8D%87%E6%95%88%E7%8E%87%E4%B8%8E%E5%A4%84%E7%90%86%E8%83%BD%E5%8A%9B/ <h1 id="简化基于bert的模型以提高效率和容量">简化基于BERT的模型以提高效率和容量</h1> <p>新方法将使基于BERT的自然语言处理模型能够处理更长的文本字符串，在资源受限的环境中运行——或者有时同时实现这两个目标。</p> <p>近年来，自然语言处理（NLP）领域许多性能最佳的模型都建立在BERT语言模型之上。BERT模型在大量（未标记）公共文本语料库上进行预训练，编码词序列的概率。由于BERT模型始于对语言整体的广泛知识，它可以用相对较少的标记数据针对更定向的任务（如问答或机器翻译）进行微调。</p> https://blog.qife122.com/p/%E5%8A%A8%E6%80%81%E5%89%AA%E6%9E%9D%E6%8F%90%E5%8D%87%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%95%88%E7%8E%87/ Wed, 03 Sep 2025 15:28:46 +0800 https://blog.qife122.com/p/%E5%8A%A8%E6%80%81%E5%89%AA%E6%9E%9D%E6%8F%90%E5%8D%87%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%95%88%E7%8E%87/ <h1 id="动态剪枝网络节点以提升大语言模型效率">动态剪枝网络节点以提升大语言模型效率</h1> <p>受大脑 specialized processing regions 启发的语言模型，可显著节省时间和成本。</p> <p>大型语言模型和视觉语言模型等基础模型（FMs）日益流行，但其能源效率低下和计算成本高昂仍是广泛部署的障碍。为应对这些挑战，提出了一种新架构，在实验中该架构将FM的推理时间减少30%，同时保持其准确性。该架构通过保持模型的适应性和结构完整性，克服了先前改进效率方法中的挑战。</p>