学习者与LLM聊天机器人交互及提示指南影响研究

大型语言模型（LLMs）通过支持基于自然语言的AI聊天机器人交互，彻底改变了人机互动方式。这些模型设计为直观且用户友好，允许用户以最小努力表达请求。然而，尽管易于访问，研究显示用户常常难以有效提示，导致低效响应。现有研究既揭示了LLMs在解释模糊或结构不良提示时的局限性，也指出了用户构建精确查询的困难。

本研究通过教育实验调查学习者与AI的交互：参与者接收关于有效提示的结构化指导。研究引入并比较三种提示指南：通过结构化方法开发的任务特定框架，以及两种基线方法。为评估用户行为和提示效能，我们分析了来自107名用户的642次交互数据集。使用Von NeuMidas（一种扩展的LLM交互分析语用标注框架）对常见提示错误进行分类，并识别重复行为模式。

通过检查用户行为变化、提示策略遵循程度以及AI生成响应的整体质量，我们评估了不同指南的影响。研究结果深入揭示了用户如何与LLMs互动，以及结构化提示指导在增强AI辅助通信中的作用。通过比较不同教学框架，为提高用户AI交互能力提供了更有效方法的见解，对AI素养、聊天机器人可用性以及响应式AI系统设计具有重要启示。

会议信息：长论文已被AIED 2025（第26届人工智能教育国际会议）接收，会议于2025年7月22-26日在意大利巴勒莫举行。

学科分类：人机交互（cs.HC）；人工智能（cs.AI）；计算与语言（cs.CL）