AAAI：提示工程与推理技术成为焦点
在人工智能促进协会年度人工智能会议（AAAI）上，控制大型生成模型输出及整合符号推理与机器学习的方法成为热门议题。
会议背景
AAAI 2023收到约9000篇论文投稿，需由庞大的程序委员会（包括两名程序主席和四名副程序主席）评审。加州大学洛杉矶分校计算机科学副教授、某机构Alexa AI组织访问学者Kai-Wei Chang担任副程序主席之一，并主持最佳论文委员会。
热门技术方向
尽管会议涵盖计算机视觉、自然语言处理、神经网络、机器人学等广泛领域，Chang指出两大突出主题：提示工程和推理技术。
提示工程
提示工程旨在从大型生成模型（如文本-图像合成器或大语言模型）中提取准确、一致且公平的输出。大语言模型虽编码大量事实信息，但其输出基于统计概率，可能导致不准确内容。例如，生成个人简介时可能混入虚假奖项信息。
研究重点包括：
- 通过事实检查器过滤不适当内容
- 确保生成文本的个性化、可靠性和一致性
- 解决训练数据中的偏见问题（如职业性别刻板印象）
- 通过添加描述语或多样化训练数据改善输出公平性
推理技术
推理技术涉及对实体或概念间逻辑关系进行推断，以执行比现有分类任务更复杂的操作。许多研究者认为这需要结合符号推理方法。
技术方法包括：
- 定义语义概率层或损失函数，使模型学习使用符号知识进行推理
- 通过规则约束避免预测违规（如语言生成中的词汇包含限制）
- 采用软约束处理复杂场景（如机器人路径规划中的区域避让）
创新方案涉及辅助神经网络：
- 将复杂约束分解为更小单元以便模型集成
- 在语言生成中协调多重要求（如特定词汇插入与情感保持）
- 通过令牌级约束生成概率指导主模型
技术多样性
尽管提示工程和推理技术受到关注，它们仅占会议议程的一小部分。人工智能领域仍包含机器学习、计算机视觉、自然语言处理和机器人学等多个子方向的多样化研究。
本文基于AAAI 2023会议技术趋势分析，聚焦生成模型控制与推理集成方法。