https://blog.qife122.com/tags/%E5%BA%8F%E5%88%97%E5%8C%96%E4%BC%98%E5%8C%96/ Recent content in 序列化优化 on 办公AI智能小助手 Hugo zh-cn qife Sat, 20 Sep 2025 03:12:37 +0800 https://blog.qife122.com/p/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E6%A1%86%E6%9E%B6%E5%8D%87%E7%BA%A7%E4%B8%8E%E4%BC%98%E5%8C%96/ Sat, 20 Sep 2025 03:12:37 +0800 https://blog.qife122.com/p/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E6%A1%86%E6%9E%B6%E5%8D%87%E7%BA%A7%E4%B8%8E%E4%BC%98%E5%8C%96/ <h3 id="-新特性与改进">✨ 新特性与改进</h3> <ul> <li>重构并优化transformer序列化架构，更好地支持内联transformer组件和监听器替换</li> <li>在TransformerData.model_output和FullTransformerBatch.model_output中提供ModelOutput格式的transformer模型输出（向后兼容的元组格式仍可通过TransformerData.tensors和FullTransformerBatch.tensors获取）</li> <li>新增对transformer_config设置的支持（如output_attentions），额外输出存储在TransformerData.model_output中</li> <li>新增混合精度训练支持</li> <li>通过优化分词器输出的内存分配提升训练速度</li> <li>扩展支持transformers最高至v4.11.x版本</li> </ul> <h3 id="-错误修复">🔴 错误修复</h3> <ul> <li>修复GPT2模型支持问题</li> </ul> <h3 id="-向后不兼容变更">⚠️ 向后不兼容变更</h3> <ul> <li>v1.1版本的transformer组件序列化格式已变更，与v1.0.x版本不兼容。使用v1.0.x训练的管道可通过v1.1.x加载，但v1.1.x保存的管道无法通过v1.0.x加载</li> <li>TransformerData.tensors和FullTransformerBatch.tensors现在返回元组而非列表</li> </ul> <h3 id="-贡献者">👥 贡献者</h3> <p>@adrianeboyd, @bryant1410, @danieldk, @honnibal, @ines, @KennethEnevoldsen, @svlandeg</p> https://blog.qife122.com/p/%E5%BF%AB%E9%80%9F%E5%88%86%E8%AF%8D%E5%99%A8%E5%AF%B9%E9%BD%90%E4%BC%98%E5%8C%96%E4%B8%8E%E5%BA%8F%E5%88%97%E5%8C%96%E6%94%B9%E8%BF%9B/ Thu, 11 Sep 2025 03:21:45 +0800 https://blog.qife122.com/p/%E5%BF%AB%E9%80%9F%E5%88%86%E8%AF%8D%E5%99%A8%E5%AF%B9%E9%BD%90%E4%BC%98%E5%8C%96%E4%B8%8E%E5%BA%8F%E5%88%97%E5%8C%96%E6%94%B9%E8%BF%9B/ <h3 id="主要更新内容">主要更新内容</h3> <h4 id="基于分词器偏移映射的对齐优化-338">基于分词器偏移映射的对齐优化 (#338)</h4> <p>对于快速分词器，现采用分词器提供的偏移映射（offset mapping）替代原spacy-alignments的启发式对齐方法。此项改进解决了以下问题：</p>