https://blog.qife122.com/tags/%E8%AF%8D%E5%85%83%E5%8C%96/ Recent content in 词元化 on 办公AI智能小助手 Hugo zh-cn qife Mon, 15 Sep 2025 12:14:01 +0800 https://blog.qife122.com/p/%E6%97%A0%E7%9B%91%E7%9D%A3%E8%AE%AD%E7%BB%83%E5%9C%A8nlp%E4%B8%AD%E7%9A%84%E4%BB%B7%E5%80%BC%E4%BD%93%E7%8E%B0/ Mon, 15 Sep 2025 12:14:01 +0800 https://blog.qife122.com/p/%E6%97%A0%E7%9B%91%E7%9D%A3%E8%AE%AD%E7%BB%83%E5%9C%A8nlp%E4%B8%AD%E7%9A%84%E4%BB%B7%E5%80%BC%E4%BD%93%E7%8E%B0/ <h1 id="当无监督训练在自然语言处理中展现价值">当无监督训练在自然语言处理中展现价值</h1> <p>在较小词汇量下，基于无标注数据训练的词元化器表现最佳。</p> <p><strong>会议</strong><br> LREC 2020</p> <p><strong>相关出版物</strong><br> 《语言无关词元化在词语相似性预测中媲美语言特定词元化》</p> <h2 id="核心内容">核心内容</h2> <p>大多数自然语言处理应用的第一步是词元化（tokenization），即将输入字符串分解为语义相关单元。这些单元通常小于单个词语。例如，与查询&quot;word processing&quot;高度匹配的搜索结果可能包含&quot;word processor&quot;短语，两者共享部分但不完全相同的子词单元。</p>