摘要
大语言模型（LLMs）虽具备广泛的世界知识（包括地理信息），但其生成的地理知识常存在不准确问题，导致地理幻觉（即错误或矛盾的 geospatial 信息表达），影响模型可靠性。尽管通用知识幻觉现象已被广泛研究，地理幻觉的系统性评估与缓解仍属空白。为此，本文提出基于结构化地理知识图谱的综合评估框架，对20种先进LLMs进行测评，揭示其地理知识缺陷。进一步提出基于Kahneman-Tversky优化（KTO）的动态事实对齐方法，在基准测试中实现29.6%的性能提升。实验证明，该框架与算法能有效增强LLMs在地理知识推理任务中的可信度。
核心方法
-
评估框架设计
- 利用地理知识图谱构建可控测试环境，量化模型输出的地理事实一致性。
- 覆盖位置关联、空间层级、属性推理等多维度指标。
-
动态事实对齐（KTO优化）
- 将人类认知偏差理论融入损失函数，动态调整模型对矛盾地理知识的置信度。
- 通过强化学习迭代优化生成结果与知识图谱的匹配度。
实验结果
- 基准测试：20种LLMs平均地理幻觉率达42.7%，部分模型在空间层级任务中错误率超60%。
- 优化效果：KTO方法使幻觉率降低至13.1%，推理速度保持原有水平。