spaCy实体链接功能:将文本指称链接到知识库概念
实体链接
文本文档通过自然语言处理管道进行处理:
- 将输入文本分词为单词和句子
- 解析语法和句法结构
- 识别有意义的实体及其类型
- …
但如何将这些信息与"真实世界"(或其近似表示——知识库)建立联系?
实体链接示例
文本中出现的所有"Byron"究竟指代谁?
任务复杂性
同义词问题
- Augusta Byron = Ada Byron = Lovelace伯爵夫人 = Ada Lovelace = Ada King
多义词问题
- 4位不同的男爵都称为"George Byron"
- “George Byron"是一位美国歌手
- “George Byron Lyon-Fellowes"是1876年渥太华市长
- …
模糊指代
- 例如"总统"这样的指称
上下文决定一切!
应用实例
Johny Carson:美国脱口秀主持人,还是美式足球运动员? Russ Cochran:美国高尔夫球手,还是出版商? Rose:英国足球运动员,还是电视剧《神秘博士》中的角色?