布隆嵌入技术与未识别实体处理解析

布隆嵌入（Bloom embeddings）以内存高效的方式为大量词汇单元提供强大的向量表示能力。为验证其效果，我们在多语言命名实体识别数据集上与传统嵌入方法进行了直接对比，并撰写了技术报告。本文重点揭示部分实验结果，特别关注命名实体识别任务中一个关键问题：未出现在训练集中的实体（称为未识别实体）。

快速了解布隆嵌入

首先简要介绍某机构spaCy中的嵌入架构。传统嵌入会为词汇表中的每个唯一符号分配独立向量，通常使用Python字典结构Dict[str, int]将词汇映射到整数索引，通过查表方式获取对应向量。未登录词则统一映射到零向量。

布隆嵌入通过借鉴布隆过滤器技术显著减少向量表行数：对每个符号进行四次哈希运算，对得到的嵌入向量求和作为最终表示。这种方式在大幅压缩内存使用的同时，仍能保证每个词汇获得唯一向量的高概率。

多哈希嵌入架构

spaCy中的嵌入层不仅使用哈希技巧，其特殊之处在于：不是直接嵌入词汇的原拼写形式，而是组合其标准化形式（NORM）、首字符（PREFIX）、尾四字符（SUFFIX）和形状特征（SHAPE）。完整架构称为MultiHashEmbed。

为进行公平对比，ner-embeddings项目包含MultiEmbed架构——保留MultiHashEmbed的所有正交特征，但将布隆嵌入替换为传统嵌入。使用前需通过make-tables命令创建查找表，并在配置中指定：

1
2
3
4
5
6


[components.tok2vec.model.embed]
@architectures = "spacy.MultiEmbed.v1"
attrs = ["NORM","PREFIX","SUFFIX","SHAPE"]
width = ${components.tok2vec.model.encode.width}
include_static_vectors = true
unk = 0

实验设计与执行

所有性能指标均基于三个随机种子的平均结果。项目提供run_experiments.py和collate_results.py脚本，可批量运行多架构、多超参组合的实验并汇总结果。

内存效率对比实验

通过在西班牙语CoNLL 2002和荷兰语考古学NER数据集上对比MultiHashEmbed与MultiEmbed的内存使用情况：

向量表行数对比：

数据集	NORM	PREFIX	SUFFIX	SHAPE
西班牙语CoNLL	2635	80	1147	88
荷兰语考古学	3132	104	1500	174
MultiHashEmbed默认	5000	2500	2500	2500

F1分数对比：

数据集	布隆	传统	布隆20%	布隆10%
西班牙语CoNLL	0.77	0.79	0.78	0.78
荷兰语考古学	0.83	0.83	0.82	0.80

实验表明：即使仅使用10%的向量，基于布隆嵌入的NER管道仍保持竞争力。内存使用量对比显示明显优势：

荷兰语考古学数据集内存使用（MB）：

嵌入类型	float32	float64
MultiEmbed	1.885	3.771
布隆默认	4.8	9.6
布隆20%	0.377	0.754
布隆10%	0.189	0.377

未识别实体挑战

标准NER评估方法可能高估模型真实泛化能力。通过创建仅包含训练集中出现实体的"已识别"子集和互补的"未识别"子集，发现性能显著下降：

布隆嵌入管道表现（F1分数）：

数据集	完整集	未识别集
荷兰CoNLL	0.83	0.70
AnEM	0.61	0.35
OntoNotes	0.84	0.65

传统嵌入也呈现相同模式，表明这是NER系统的普遍问题。

正交特征价值分析

通过逐步移除特征组件，分析各正交特征对性能的影响（以荷兰CoNLL数据集为例）：

特征组合	全部	已识别	未识别
✅✅✅✅	—	—	—
✅✅✅	17%	0%	15%
✅✅	30%	80%	28%
✅	47%	100%	68%
原始形式	50%	160%	62%

SHAPE特征主要对未识别实体有益，其他特征对两类实体都至关重要。

预训练向量的作用

加入预训练向量后的性能提升显著：

数据集	全部实体	全部实体+lg	未识别	未识别+lg
荷兰CoNLL	73%	83%	59%	70%
西班牙CoNLL	77%	82%	60%	74%
荷兰考古学	82%	83%	35%	40%

特别是在未识别实体上，预训练嵌入带来更显著的性能提升。

工具与资源

span-labeling-datasets项目提供预处理工具和诊断分割功能，ner-embeddings项目包含所有对比架构和批量实验脚本。由于许可证限制，OntoNotes数据集未被包含，但新增了MIT餐厅评论数据集供探索。