新工具与数据集助力检测大语言模型幻觉问题
基于知识三元组而非自然语言的事实表示方式，可实现更细粒度的判断。
尽管大语言模型（LLMs）具有卓越能力，但其存在关键弱点——容易产生幻觉，即生成听起来合理但事实错误的断言。有时这些幻觉非常微妙：例如模型可能生成基本正确但日期误差一两年的陈述。
为检测此类细微幻觉，某机构发布RefChecker（“Ref"代表"参考”），包含全新的幻觉检测框架和用于评估不同场景下幻觉的基准数据集。与既往使用句子或短语描述LLM生成文本中事实断言的方法不同，RefChecker采用<主体,谓词,客体>结构的知识三元组（与知识图谱相同的数据表示结构），能对模型输出进行更精细评估。
基准数据集特点
该数据集涵盖三种场景：
- 零上下文：模型无参考文本直接回答问题（100个示例）
- 噪声上下文：提供可能包含错误信息的检索文档列表（检索增强生成/RAG场景，100个示例）
- 精确上下文：提供单一准确文档（100个示例）
幻觉检测三要素
-
参考来源
- 零上下文：自然问题开发集的标注长答案
- 噪声上下文：MS MARCO开发集的检索段落
- 精确上下文：databricks-dolly-15k的输入文本
-
评估粒度
将响应文本分解为知识三元组，例如：
“Richard Mulligan在《The Partridge Family》中饰演Kincaid先生”
→ 三元组1: <Richard Mulligan, 饰演角色, Kincaid先生>
→ 三元组2: <Kincaid先生, 登场作品, The Partridge Family> -
声明分类
- 蕴含（绿色对勾）：参考文本支持的声明
- 矛盾（红色叉号）：参考文本反驳的声明
- 中立（橙色问号）：证据不足的声明
技术架构
RefChecker包含两个可配置模块：
- 声明三元组提取器(E)：当前版本使用GPT-4和Claude 2，后续将提供Mixtral-8x7B开源版本
- 幻觉检查器(C)：支持GPT-4、Claude 2和RoBERTa-NLI，未来将增加AlignScore和基于Mistral的检查器
评估结果显示，多个检查器的多数表决结果与人工标注一致性最高。
获取使用
RefChecker已在GitHub开源，支持pip安装。快速入门指南包含知识三元组提取、幻觉检测和自定义模型评估的详细说明。该工具认为检测细粒度幻觉是制定有效缓解策略的第一步，欢迎通过GitHub提交反馈和改进建议。