如何提升AI的阅读理解能力
在自然语言处理领域，基于阅读理解的问答是一项常见任务。这类任务类似于标准化考试：给定一篇文章和相关问题（例如关于威廉征服者的文章和“威廉何时入侵英格兰？”的问题），机器学习模型需要从文中找出答案（1066年）。
当前模型的局限性
1. 泛化能力不足
尽管问答模型在SQuAD等公开数据集上表现超越人类基准，但跨数据集测试表明模型并未真正掌握阅读理解能力。在SQuAD上训练良好的模型，在Natural Questions数据集上表现显著下降，说明模型可能只是学会了特定数据集的解题模式。
图示：SQuAD训练模型在五个不同数据集上的性能表现
2. 利用数据捷径
通过三项实验发现模型存在走捷径现象：
- 训练数据污染实验：将正确答案替换为错误答案后，模型仍能输出正确结果
- 测试文本打乱实验：将文章句子随机打乱后，模型性能未受显著影响
- 问题残缺实验：即使输入不完整问题（如“威廉何时？”），模型仍能给出正确答案
分析表明，部分模型仅通过简单规则（如对所有“谁”问题返回文中第一个专有名词）就能达到当前基准性能的40%。
3. 处理变体能力薄弱
- 填充词测试：在问题中加入“确实”等填充词会导致模型F1分数下降最多8%
- 否定句测试：模型对否定式问题（如“威廉何时未入侵英格兰？”）的忽略率高达94%
改进建议
- 泛化能力测试：要求模型在多个相关数据集上报告性能
- 挑战性问题设计：剔除可通过简单规则解决的问题
- 深入性能分析：验证模型是否真正理解问题本质
- 增加问题变体：通过同义改写测试模型灵活性
- 标准化数据集格式：采用统一格式便于跨数据集实验
研究团队已发布代码工具，可将五个常用数据集转换为统一格式，促进更可靠的模型评估。
技术实现
实验基于BERT语言模型构建的问答系统，通过控制变量法系统评估模型在异常条件下的表现。结果显示需要重新审视当前模型的“超人”表现，并改进训练数据的构建方式。
相关代码和数据集转换工具已公开，支持更严谨的阅读理解模型评估