代码提示在命名实体识别中的创新应用

本文提出CodeNER方法,通过代码提示增强大语言模型在命名实体识别任务中的性能。该方法将BIO标注框架嵌入代码提示中,利用模型对编程语言长范围上下文的理解能力,在十种跨语言基准测试中显著优于传统文本提示方法。

CodeNER:基于代码提示的命名实体识别方法

近期研究探索了多种方法,将候选命名实体跨度既作为源序列又作为目标序列,通过大语言模型(LLMs)进行命名实体识别(NER)。虽然先前方法成功生成了带合适标签的候选命名实体跨度,但在使用LLMs(特别是ChatGPT)时仅依赖输入上下文信息。然而,NER本质上需要结合输入上下文信息来捕获详细的标注要求。

为解决这一问题,提出了一种创新方法,利用基于代码的提示来提升LLMs在理解和执行NER任务中的能力。通过在提示中嵌入代码,该方法提供了详细的BIO标注框架指令,从而充分发挥LLMs理解编程语言长范围上下文的能力。

实验结果表明,所提出的基于代码的提示方法在英语、阿拉伯语、芬兰语、丹麦语和德语数据集的十项基准测试中,均优于传统的基于文本的提示方法,这证明了显式结构化NER指令的有效性。研究还验证了将基于代码的提示方法与思维链提示相结合能进一步提升性能。

论文信息:18页,6张图表
研究领域:计算与语言(cs.CL)、人工智能(cs.AI)
ACM分类:I.2.7

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计