近年来，自然语言处理和计算语言学领域在深度学习革命十年后，又经历了大语言模型（LLMs）的再次革命。在本次北美计算语言学协会年会（NAACL）上，涉及LLMs的研究占据主导地位，无论是作为研究对象还是作为自然语言处理应用的工具。本文指南将某机构的NAACL论文分为明确处理LLMs的论文和未涉及LLMs的论文——尽管在许多情况下，后者提出的通用技术或数据集可同时适用于LLMs和传统模型。
LLM相关研究
智能体
FLAP：基于约束解码的LLM流式规划
Shamik Roy, Sailik Sengupta, Daniele Bonadiman, Saab Mansour, Arshit Gupta
属性值提取
EIVEN：使用多模态LLM进行高效隐式属性值提取
Henry Peng Zou, Gavin Yu, Ziwei Fan, Dan Bu, Han Liu, Peng Dai, Dongmei Jia, Cornelia Caragea
持续学习
Q-Tuning：基于队列的终身少样本语言学习提示调优
Yanhui Guo, Shaoyuan Xu, Jinmiao Fu, Jia (Kevin) Liu, Chaosheng Dong, Bryan Wang
对话系统
利用LLM进行对话质量评估
Jinghan Jia, Abi Komma, Timothy Leffel, Xujun Peng, Ajay Nagesh, Tamer Soliman, Aram Galstyan, Anoop Kumar
幻觉缓解
少即是多：改进事实一致性自动评估
Tong Wang, Ninad Kulkarni, Yanjun (Jane) Qi
TofuEval：评估LLM在主题聚焦对话摘要中的幻觉
Liyan Tang, Igor Shalyminov, Amy Wong, Jon Burnsky, Jake Vincent, Yu’an Yang, Siffi Singh, Song Feng, Hwanjun Song, Hang Su, Justin Sun, Yi Zhang, Saab Mansour, Kathleen McKeown
改进长格式答案生成的多源归因
Nilay Patel, Shivashankar Subramanian, Siddhant Garg, Pratyay Banerjee, Amita Misra
机器翻译
基于偏好驱动的大语言模型增强翻译范式
Dawei Zhu, Sony Trenous, Xiaoyu Shen, Dietrich Klakow, Bill Byrne, Eva Hasler
自然语言处理
面向非正式语言处理：大语言模型中的俚语知识
Zhewei Sun, Qian Hu, Rahul Gupta, Richard Zemel, Yang Xu
问答系统
自带知识图谱：零样本KGQA的自监督程序合成
Dhruv Agarwal, Rajarshi (Raj) Das, Sopan Khosla, Rashmi Gangadharaiah
推理
CoMM：协作多智能体多推理路径提示解决复杂问题
Pei Chen, Boran Han, Shuai Zhang
推荐系统
RecMind：大语言模型驱动的推荐智能体
Yancheng Wang, Ziyan Jiang, Zheng Chen, Fan Yang, Yingxue Zhou, Eunah Cho, Xing Fan, Xiaojiang Huang, Yanbin Lu, Yingzhen Yang
人类反馈强化学习
RS-DPO：结合拒绝采样和直接偏好优化的LLM对齐方法
Saeed Khaki, JinJin Li, Lan Ma, Liu Yang, Prathap Ramachandra
负责任AI
ITERALIGN：大语言模型的迭代宪法对齐
Xiusi Chen, Hongzhi Wen, Sreyashi Nag, Chen Luo, Qingyu Yin, Ruirui Li, Zheng Li, Wei Wang
MICo：通过抑制控制预防性净化大语言模型
Roy Siegelmann, Ninareh Mehrabi, Palash Goyal, Prasoon Goyal, Lisa Bauer, Jwala Dhamala, Aram Galstyan, Rahul Gupta, Reza Ghanadan
大语言模型向数据驱动人格的可控性
Junyi Li, Charith Peris, Ninareh Mehrabi, Palash Goyal, Kai-Wei Chang, Aram Galstyan, Richard Zemel, Rahul Gupta
检索增强生成
通过对比解码增强大语言模型的上下文理解
Zheng Zhao, Emilio Monti, Jens Lehmann, Haytham Assem
文本生成
词典例句的低成本生成与评估
Bill Cai, Clarence Ng, Daniel Tan, Shelvia Hotama
多评论上下文融合
Aviv Slobodkin, Ori Shapira, Ran Levy, Ido Dagan
视觉语言模型
MAGID：自动化多模态合成数据集生成管道
Hossein Aboutalebi, Justin Sun, Hwanjun Song, Yusheng Xie, Arshit Gupta, Hang Su, Igor Shalyminov, Nikolaos Pappas, Siffi Singh, Saab Mansour
提示视觉语言模型进行方面控制的指代表达生成
Danfeng Guo, Sanchit Agarwal, Arpit Gupta, Jiun-Yu Kao, Emre Barut, Tagyoung Chung, Jing Huang, Mohit Bansal
通用与经典技术
对话代理
利用有趣事实增强对话界面用户参与度
Nikhita Vedula, Giuseppe Castellucci, Eugene Agichtein, Oleg Rokhlenko, Shervin Malmasi
信息抽取
利用客户反馈进行多模态洞察提取
Sandeep Sricharan Mukku, Abinesh Kanagarajan, Pushpendu Ghosh, Chetan Aggarwal
REXEL：文档级关系抽取与实体链接的端到端模型
Nacime Bouziani, Shubhi Tyagi, Joseph Fisher, Jens Lehmann, Andrea Pierleoni
机器学习
DEED：加速编码器-解码器Transformer模型的动态早期退出
Peng Tang, Pengkai Zhu, Tian Li, Srikar Appalaraju, Vijay Mahadevan, R. Manmatha
机器翻译
双语词典归纳的词汇性程度研究
Harsh Kohli, Helian Feng, Nicholas Dronen, Calvin McCarter, Sina Moeini, Ali Kebarighotbi
M3T：多模态文档级机器翻译新基准数据集
Benjamin Hsu, Xiaoyu Liu, Huayang Li, Yoshinari Fujinuma, Maria Nădejde, Xing Niu, Yair Kittenplon, Ron Litman, Raghavendra Pappagari
负责任AI
通过追踪偏差影响减轻问答模型偏差
Mingyu Derek Ma, Jiun-Yu Kao, Arpit Gupta, Yu-Hsiang Lin, Wenbo Zhao, Tagyoung Chung, Wei Wang, Kai-Wei Chang, Nanyun Peng
语义检索
极高效的在线密集检索查询编码
Nachshon Cohen, Yaron Fairstein, Guy Kushilevitz
文本摘要
CCSUM：大规模高质量新闻摘要数据集
Xiang Jiang, Markus Dreyer
通过高质量伪标签选择的半监督对话摘要
Jianfeng He, Hang Su, Jason Cai, Igor Shalyminov, Hwanjun Song, Saab Mansour
视觉问答
多问题多答案文本VQA
Peng Tang, Srikar Appalaraju, R. Manmatha, Yusheng Xie, Vijay Mahadevan