会议背景
ACL 2024（国际计算语言学协会年会）
研究概览
与对话式AI领域的整体趋势一致，某机构在本届ACL会议上发表的论文主要集中在大语言模型（LLM）研究。大语言模型输出所具有的语言流畅性和语义连贯性等卓越特性，其量化评估一直存在显著挑战，因此模型评估成为重点关注的特定领域。这些论文探索了广泛的LLM相关主题，从代码合成和自动语音识别等应用，到持续预训练和幻觉缓解等LLM训练与部署问题。入选ACL新创刊论文集的文章以星号标注。
技术方向详述
代码合成
《通过错误注入实现含潜在缺陷代码的联合重写与补全的语言模型微调》 Dingmin Wang, Jinman Zhao, Hengzhi Pei, Samson Tan, Sheng Zha
- 通过错误注入技术获取存在缺陷的部分代码
持续预训练
《高效持续预训练构建领域专用大语言模型》* Yong Xie, Karan Aggarwal, Aitzaz Ahmad
数据质量
《网络内容机器翻译占比惊人的发现：多向并行性研究》* Brian Thompson, Mehak Dhaliwal, Peter Frisch, Tobias Domhan, Marcello Federico
文档摘要
《摘要-源文对齐的力量》 Ori Ernst, Ori Shapira, Aviv Slobodkin, Sharon Adar, Mohit Bansal, Jacob Goldberger, Ran Levy, Ido Dagan
幻觉缓解
《通过事实一致性模型学习生成带引用的答案》 Rami Aly, Zhiqiang Tang, Samson Tan, George Karypis
意图分类
《你的模型能区分否定与含义吗？意图编码器的挑战解析》 Yuwei Zhang, Siffi Singh, Sailik Sengupta, Igor Shalyminov, Hwanjun Song, Hang Su, Saab Mansour
反讽识别
《MultiPICo：多语言视角主义反讽语料库》 Silvia Casola, Simona Frenda, Soda Marem Lo, Erhan Sezerer, Antonio Uva, Valerio Basile, Cristina Bosco, Alessandro Pedrani, Chiara Rubagotti, Viviana Patti, Davide Bernardi
知识 grounding
《图推理链：通过图推理增强大语言模型》 Bowen Jin, Chulin Xie, Jiawei Zhang, Kashob Kumar Roy, Yu Zhang, Zheng Li, Ruirui Li, Xianfeng Tang, Suhang Wang, Yu Meng, Jiawei Han
《MATTER：使用异构知识源的记忆增强Transformer》* Dongkyu Lee, Chandana Satya Prakash, Jack G. M. FitzGerald, Jens Lehmann
《遍历树：基于知识图谱增强黑盒语言模型的零样本推理算法》 Elan Markowitz, Anil Ramakrishna, Jwala Dhamala, Ninareh Mehrabi, Charith Peris, Rahul Gupta, Kai-Wei Chang, Aram Galstyan
- 展示遍历树方法使用知识图谱接口处理"哪些演员同时参演《盗梦空间》和《星际穿越》“查询的示例
LLM解码
《BASS：批处理注意力优化推测采样》* Haifeng Qian, Sujan Gonugondla, Sungsoo Ha, Mingyue Shang, Sanjay Krishna Gouda, Ramesh Nallapati, Sudipta Sengupta, Anoop Deoras
机器翻译
《拼写错误查询对翻译和产品搜索的影响》 Greg Hanneman, Natawut Monaikul, Taichi Nakatani
《微调悖论：提升翻译质量而不牺牲LLM能力》 David Stap, Eva Hasler, Bill Byrne, Christof Monz, Ke Tran
模型编辑
《传播与陷阱：通过反事实任务进行基于推理的知识编辑评估》 Wenyue Hua, Jiang Guo, Marvin Dong, Henghui Zhu, Patrick Ng, Zhiguo Wang
- 展示基于推理的反事实编辑（ReCoE）数据集构建过程：直线代表现有数据集来源数据，虚线表示LLM生成数据，锯齿线表示通过数据破坏获得的数据
模型评估
《贝叶斯提示集成：黑盒大语言模型的模型不确定性估计》 Francesco Tonolini, Jordan Massiah, Nikolaos Aletras, Gabriella Kazai
《ConSiDERS人类评估框架：重新思考生成式大语言模型的人类评估》 Aparna Elangovan, Ling Liu, Lei Xu, Sravan Bodapati, Dan Roth
《LLM的事实置信度：当前估计器的可靠性与鲁棒性研究》 Matéo Mahaut, Laura Aina, Paula Czarnowska, Momchil Hardalov, Thomas Müller, Lluís Marquez
《微调机器翻译指标在未知领域的表现困境》 Vilém Zouhar, Shuoyang Ding, Anna Currey, Tatyana Badeka, Jenyuan Wang, Brian Thompson
《检索增强生成的问答难度测量》 Matteo Gabburo, Nicolaas Jedema, Siddhant Garg, Leonardo Ribeiro, Alessandro Moschitti
模型鲁棒性
《极端误校准与对抗鲁棒性的幻觉》 Vyas Raina, Samson Tan, Volkan Cevher, Aditya Rawal, Sheng Zha, George Karypis
多模态模型
《CaMML：大模型的上下文感知多模态学习器》 Yixin Chen, Shuai Zhang, Boran Han, Tong He, Bo Li
- CaMML框架包含检索器、感知器和生成器：接收用户查询后，检索器从数据存储中识别相关多模态上下文，感知器无缝集成多模态数据并注入生成器，实现基于上下文和查询的响应预测
《基于大语言模型语音识别的多模态检索》 Jari Kolehmainen, Aditya Gourav, Prashanth Gurunath Shivakumar, Yi Gu, Ankur Gandhe, Ariya Rastrow, Grant Strimel, Ivan Bulyko
《REFINESUMM：用于生成多模态摘要数据集的自我精炼MLLM》 Vaidehi Patil, Leonardo Ribeiro, Mengwen Liu, Mohit Bansal, Markus Dreyer
序数分类
《文本分类中的序数性探索：显式与隐式技术的比较研究》 Siva Rajesh Kasa, Aniket Goel, Sumegh Roychowdhury, Karan Gupta, Anish Bhanushali, Nikhil Pattisapu, Prasanna Srinivasa Murthy
问答系统
《超越边界：基于结构和非结构化信息源的人类式问答方法》* Jens Lehmann, Dhananjay Bhandiwad, Preetam Gattogi, Sahar Vahdati
《MinPrompt：基于图的少样本问答最小提示数据增强》 Xiusi Chen, Jyun-Yu Jiang, Wei-Cheng Chang, Cho-Jui Hsieh, Hsiang-Fu Yu, Wei Wang
《通过自动响应分割从未标注文档合成对话》 Fanyou Wu, Weijie Xu, Chandan Reddy, Srinivasan Sengamedu, “SHS”
推理
《通过代码激发更好的多语言结构化推理》 Bryan Li, Tamer Alkhouli, Daniele Bonadiman, Nikolaos Pappas, Saab Mansour
《II-MMR：视觉问答中多模态多跳推理的识别与改进》* Jihyung Kil, Farideh Tavazoee, Dongyeop Kang, Joo-Kyung Kim
推荐系统
《生成式探索-利用：使用LLM优化器实现生成式推荐系统的无训练优化》 Besnik Fetahu, Zhiyu Chen, Davis Yoshida, Giuseppe Castellucci, Nikhita Vedula, Jason Choi, Shervin Malmasi
《将客观产品属性转化为客户语言》 Ram Yazdi, Oren Kalinsky, Alexander Libov, Dafna Shahaf
负责任AI
《SpeechGuard：探索多模态大语言模型的对抗鲁棒性》 Raghuveer Peri, Sai Muralidhar Jayanthi, Srikanth Ronanki, Anshu Bhatia, Karel Mundnich, Saket Dingliwal, Nilaksh Das, Zejiang Hou, Goeric Huybrechts, Srikanth Vishnubhotla, Daniel Garcia-Romero, Sundararajan Srinivasan, Kyu Han, Katrin Kirchhoff
文本补全
《通过字符匹配实现子词补全的token对齐》* Ben Athiwaratkun, Shiqi Wang, Mingyue Shang, Yuchen Tian, Zijian Wang, Sujan Gonugondla, Sanjay Krishna Gouda, Rob Kwiatkowski, Ramesh Nallapati, Bing Xiang
- 展示token对齐过程的示意图