https://blog.qife122.com/tags/%E5%88%86%E8%AF%8D%E5%AF%B9%E9%BD%90/ Recent content in 分词对齐 on 办公AI智能小助手 Hugo zh-cn qife Thu, 11 Sep 2025 03:21:45 +0800 https://blog.qife122.com/p/%E5%BF%AB%E9%80%9F%E5%88%86%E8%AF%8D%E5%99%A8%E5%AF%B9%E9%BD%90%E4%BC%98%E5%8C%96%E4%B8%8E%E5%BA%8F%E5%88%97%E5%8C%96%E6%94%B9%E8%BF%9B/ Thu, 11 Sep 2025 03:21:45 +0800 https://blog.qife122.com/p/%E5%BF%AB%E9%80%9F%E5%88%86%E8%AF%8D%E5%99%A8%E5%AF%B9%E9%BD%90%E4%BC%98%E5%8C%96%E4%B8%8E%E5%BA%8F%E5%88%97%E5%8C%96%E6%94%B9%E8%BF%9B/ <h3 id="主要更新内容">主要更新内容</h3> <h4 id="基于分词器偏移映射的对齐优化-338">基于分词器偏移映射的对齐优化 (#338)</h4> <p>对于快速分词器，现采用分词器提供的偏移映射（offset mapping）替代原spacy-alignments的启发式对齐方法。此项改进解决了以下问题：</p>