https://blog.qife122.com/tags/%E6%95%B0%E6%8D%AE%E9%A2%84%E5%A4%84%E7%90%86/ Recent content in 数据预处理 on 办公AI智能小助手 Hugo zh-cn qife Tue, 23 Sep 2025 21:21:48 +0800 https://blog.qife122.com/p/%E4%BC%98%E5%8C%96%E6%95%B0%E6%8D%AE%E7%BB%84%E7%BB%87%E6%8F%90%E5%8D%87%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E9%A2%84%E8%AE%AD%E7%BB%83%E6%95%88%E6%9E%9C/ Tue, 23 Sep 2025 21:21:48 +0800 https://blog.qife122.com/p/%E4%BC%98%E5%8C%96%E6%95%B0%E6%8D%AE%E7%BB%84%E7%BB%87%E6%8F%90%E5%8D%87%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E9%A2%84%E8%AE%AD%E7%BB%83%E6%95%88%E6%9E%9C/ <h1 id="改进大语言模型预训练的数据组织方法">改进大语言模型预训练的数据组织方法</h1> <p>在大型语言模型训练过程中，训练文档通常会被拼接成&quot;超级文档&quot;，然后分割成符合模型上下文长度的序列。这种方法虽然提高了训练效率，但经常导致不必要的截断，使单个文档被分割到连续的序列中。</p> https://blog.qife122.com/p/%E4%BC%98%E5%8C%96%E6%95%B0%E6%8D%AE%E7%BB%84%E7%BB%87%E6%8F%90%E5%8D%87%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E9%A2%84%E8%AE%AD%E7%BB%83%E6%95%88%E6%9E%9C/ Wed, 17 Sep 2025 04:27:38 +0800 https://blog.qife122.com/p/%E4%BC%98%E5%8C%96%E6%95%B0%E6%8D%AE%E7%BB%84%E7%BB%87%E6%8F%90%E5%8D%87%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E9%A2%84%E8%AE%AD%E7%BB%83%E6%95%88%E6%9E%9C/ <h1 id="通过优化数据组织改进大语言模型预训练">通过优化数据组织改进大语言模型预训练</h1> <p>训练大语言模型（LLM）时，通常会将文档拼接成“超级文档”，再分割为符合模型上下文长度的序列。这种做法虽然提高了训练效率，但常导致不必要的截断——单个文档被拆分到连续序列中。</p> https://blog.qife122.com/p/%E4%BC%98%E5%8C%96%E6%95%B0%E6%8D%AE%E7%BB%84%E7%BB%87%E6%8F%90%E5%8D%87%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E9%A2%84%E8%AE%AD%E7%BB%83%E6%95%88%E6%9E%9C/ Mon, 08 Sep 2025 01:12:58 +0800 https://blog.qife122.com/p/%E4%BC%98%E5%8C%96%E6%95%B0%E6%8D%AE%E7%BB%84%E7%BB%87%E6%8F%90%E5%8D%87%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E9%A2%84%E8%AE%AD%E7%BB%83%E6%95%88%E6%9E%9C/ <h1 id="优化数据组织提升大语言模型预训练效果">优化数据组织提升大语言模型预训练效果</h1> <p>大语言模型（LLM）训练文档通常被拼接成单个&quot;超级文档&quot;，然后分割成符合模型上下文长度的序列。这种方法提高了训练效率，但经常导致不必要的截断，即单个文档被分割到连续序列中。</p> https://blog.qife122.com/p/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%8E%E7%9F%BF%E7%89%A9%E5%85%83%E7%B4%A0%E5%88%86%E6%9E%90%E5%9C%A8%E8%9C%82%E8%9C%9C%E6%BA%AF%E6%BA%90%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ Sat, 06 Sep 2025 00:33:08 +0800 https://blog.qife122.com/p/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%8E%E7%9F%BF%E7%89%A9%E5%85%83%E7%B4%A0%E5%88%86%E6%9E%90%E5%9C%A8%E8%9C%82%E8%9C%9C%E6%BA%AF%E6%BA%90%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ <h1 id="分类方法">分类方法</h1> <h2 id="数据预处理">数据预处理</h2> <ul> <li>缺失值处理</li> <li>数据标准化</li> </ul> <h2 id="分类模型">分类模型</h2> <p>采用多种监督分类模型对6类植物源和13类地理源的蜂蜜进行区分</p> <h1 id="实验与结果">实验与结果</h1> <ul> <li>使用公开蜂蜜矿物元素数据集</li> <li>随机森林（RF）分类器表现最优： <ul> <li>植物源分类交叉验证准确率：99.30%</li> <li>地理源分类交叉验证准确率：98.01%</li> </ul> </li> <li>证实矿物元素含量具有区分蜂蜜来源的有效信息</li> </ul>