摘要
大语言模型正广泛应用于任务自动化，包括社会科学中的自动编码。尽管研究人员提出了不同的提示策略，但其效果因模型和任务而异，试错方法仍普遍存在。本研究提出HALC通用流程框架，能够系统可靠地为任何给定编码任务和模型构建最优提示，允许整合任何被认为相关的提示策略。
研究方法
为验证流程框架，研究向本地大语言模型发送总计1512个独立提示，请求次数超过200万次。测试基于少量专家编码（真实标注）评估提示策略和模型任务性能。
关键发现
- 使用Mistral NeMo模型时，针对单变量编码找到可靠提示（气候=0.76；运动=0.78）
- 针对双变量编码同样获得有效提示（气候=0.71；运动=0.74）
- 提示策略设计使大语言模型与代码书对齐，而非优化代码书以适应模型
研究价值
本文揭示了不同提示策略的有效性、关键影响因素，并为每个编码任务和模型识别出可靠提示方案，为计算社会科学领域的大语言模型应用提供重要方法论支持。