核心架构：spaCy的模块化设计

• 开源特性：免费提供的生产级NLP库，专注开发者效率提升
• 流水线架构：通过Doc对象将非结构化文本转化为结构化数据
• 预训练模型：支持一键下载（如en_core_web_trf），提供实体识别等基础功能

1
2
3
4
5
6

# 典型使用示例
import spacy
nlp = spacy.load("en_core_web_trf")
doc = nlp(text)
for ent in doc.ents:
    print(ent.text, ent.label_)

定制化开发实战

1. 规则匹配引擎
   • 基于语法依赖关系的模式匹配（如临床药物剂量提取）
   • 支持弱监督标注引导模型训练

1
2
3
4

from spacy.matcher import Matcher
matcher = Matcher(nlp.vocab)
pattern = [{"LOWER": "patients"}, {"POS": "NUM"}, {"LOWER": "received"}]
matcher.add("TREATMENT", [pattern])

2. 监督学习配置
   • 通过配置文件定义实体识别（NER）、跨度分类（SpanCat）等组件
   • 支持自定义模型架构与训练参数

1
2
3
4
5

# 典型训练配置
[nlp]
pipeline = ["tok2vec","ner"]
[components.ner]
factory = "ner"

spacy-llm：LLM集成方案

• 多后端支持：OpenAI API/开源模型（如Dolly v2）
• 任务模板：内置NER、文本分类，支持自定义提示工程

1
2
3
4

# LLM零样本实体识别配置
[components.llm.task]
@llm_tasks = "spacy.NER.v2"
labels = "Drug,Dose"

• 生产级优化：
  • 响应解析器将LLM输出转为结构化标注
  • 支持隐私过滤（如PII替换）和成本控制

性能权衡策略

进阶应用场景

1. LLM辅助标注：生成训练数据初稿供人工校验
2. 混合流水线：
   • 前置规则过滤输入文本
   • 后置实体链接标准化输出
3. 渐进式优化：从LLM原型逐步迁移至监督模型

案例演示：在临床试验摘要中，通过组合规则匹配与GPT-3.5实现治疗组-药物-疗效关系的结构化提取，最终输出符合医疗实体标准的Doc对象。