https://blog.qife122.com/tags/%E6%A8%A1%E5%9E%8B%E8%92%B8%E9%A6%8F/ Recent content in 模型蒸馏 on 办公AI智能小助手 Hugo zh-cn qife Sun, 21 Sep 2025 11:28:58 +0800 https://blog.qife122.com/p/%E6%97%A0%E6%9C%8D%E5%8A%A1%E5%99%A8%E5%AE%9A%E5%88%B6nlp%E4%B8%8Ellm%E5%8F%8A%E8%87%AA%E5%8A%A8%E5%8C%96%E6%A0%87%E6%B3%A8%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ Sun, 21 Sep 2025 11:28:58 +0800 https://blog.qife122.com/p/%E6%97%A0%E6%9C%8D%E5%8A%A1%E5%99%A8%E5%AE%9A%E5%88%B6nlp%E4%B8%8Ellm%E5%8F%8A%E8%87%AA%E5%8A%A8%E5%8C%96%E6%A0%87%E6%B3%A8%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ <h1 id="无服务器定制nlp与llm及自动化标注技术解析">无服务器定制NLP与LLM及自动化标注技术解析</h1> <h2 id="技术架构概述">技术架构概述</h2> <p>基于大型语言模型（LLMs）的人机协同蒸馏技术为构建定制化信息抽取系统提供了可扩展的解决方案。与传统纯提示词工作流相比，该方案仍需解决两大瓶颈：高质量训练数据创建需求与GPU训练依赖。本文介绍如何通过无服务器云平台与智能标注工具的集成实现端到端流程优化。</p> https://blog.qife122.com/p/%E4%BB%8E%E9%94%99%E8%AF%AF%E6%A0%87%E7%AD%BE%E4%B8%AD%E5%AD%A6%E4%B9%A0%E6%A8%A1%E5%9E%8B%E8%92%B8%E9%A6%8F%E6%8A%80%E6%9C%AF/ Thu, 11 Sep 2025 10:50:49 +0800 https://blog.qife122.com/p/%E4%BB%8E%E9%94%99%E8%AF%AF%E6%A0%87%E7%AD%BE%E4%B8%AD%E5%AD%A6%E4%B9%A0%E6%A8%A1%E5%9E%8B%E8%92%B8%E9%A6%8F%E6%8A%80%E6%9C%AF/ <h1 id="从错误标记数据中学习">从错误标记数据中学习</h1> <h2 id="实验设计与发现">实验设计与发现</h2> <p>第3.2节显示，仅在对抗性错误上训练模型能在原始测试集上实现非平凡泛化。这些实验是从错误中学习的一个特例。从一个反直觉的结果开始：使用完全错误标记的训练集（未修改输入）训练模型，该模型能泛化到原始测试集。这个结果及其结果都是模型蒸馏的特殊情况。由于错误标签是使用训练过的模型生成的，关于该模型的信息被&quot;泄漏&quot;到错误标记的示例中。</p> https://blog.qife122.com/p/%E4%BA%BA%E6%9C%BA%E5%8D%8F%E5%90%8C%E8%92%B8%E9%A6%8F%E5%AE%9E%E7%94%A8%E6%8C%87%E5%8D%97%E6%89%93%E7%A0%B4llm%E9%BB%91%E7%9B%92/ Mon, 08 Sep 2025 12:25:30 +0800 https://blog.qife122.com/p/%E4%BA%BA%E6%9C%BA%E5%8D%8F%E5%90%8C%E8%92%B8%E9%A6%8F%E5%AE%9E%E7%94%A8%E6%8C%87%E5%8D%97%E6%89%93%E7%A0%B4llm%E9%BB%91%E7%9B%92/ <h1 id="将llm带出黑盒人机协同蒸馏实用指南">将LLM带出黑盒：人机协同蒸馏实用指南</h1> <p>随着自然语言处理领域的进步和新思想的发展，出现了越来越多高效利用计算资源的方法，从而产生运行成本更低、更易于控制的AI系统。大型语言模型（LLM）具有巨大潜力，但也对工业中需要模块化、透明度和数据隐私的现有工作流程提出了挑战。</p>