某机构EMNLP 2024五十余篇论文速览

大语言模型既作为研究主题本身，也作为研究工具，主导着某机构科学家在今年自然语言处理实证方法会议（EMNLP）上展示的研究成果。大语言模型训练是论文数量最多的主题，紧随其后的是减轻大语言模型输出中错误信息（包括但不限于幻觉）的策略。同时，多篇论文将大语言模型应用于语音、推荐系统和信息检索等传统关注领域。（标有星号的论文被EMNLP Findings接收。）

AI智能体

MARCO：多智能体实时聊天编排 Anubhav Shrimal, Shervin Malmasi, Kriti Biswas, Swarnalatha Raghuraman, Anish Nediyanchath, Yi Zhang, Promod Yenigalla

代码生成

CodeFort：代码生成模型的鲁棒训练 Yuhao Zhang, Shiqi Wang, Haifeng Qian, Zijian Wang, Mingyue Shang, Linbo Liu, Sanjay Krishna Gouda, Baishakhi Ray, Murali Krishna Ramanathan, Xiaofei Ma, Anoop Deoras

苏格拉底式人类反馈（SoHF）：大语言模型代码生成的专家引导策略 Subramanian Chidambaram, Erran Li, Min Bai, Xiaopeng LI, Kaixiang Lin, Xiong Zhou, Alex C. Williams

结构化对象语言建模（SoLM）：符合复杂模式的原生结构化对象生成与自监督去噪 Amir Tavanaei, Kee Kiat Koo, Hayreddin Ceker, Shaobai Jiang, Qi Li, Julien Han, Karim Bouyarmane

对比解码

通过推断巨大假设语言模型的概率来解释和改进对比解码 Haw-Shiuan Chang, Nanyun Peng, Mohit Bansal, Anil Ramakrishna, Tagyoung Chung

给定一个带有线索的简单问题，对比解码可能存在“明显盲区”（例如，将更高概率分配给不常见答案，如“无脊椎动物”，而不是最明显的答案“蜜蜂”）。相比之下，通过利用不同大小多个语言模型的概率，提出的渐近概率解码正确地将最高概率分配给了“蜜蜂”。

数据集成

ASTRA：使用机器翻译的自动模式匹配 Tarang Chugh, Deepak Zambre

从自然语言解释中学习以实现可泛化的实体匹配 Somin Wadhwa, Adit Krishnan, Runhui Wang, Byron C. Wallace, Chris (Luyang) Kong

在地理空间网络上预训练和微调语言模型以实现精确地址匹配 Saket Maheshwary, Arpan Paul, Saurabh Sohoney

电子商务应用中的检索增强拼写纠正 Xuan Guo, Rohit Patki, Dante Everaert, Christopher Potts

数据集蒸馏

通过语言模型嵌入进行文本数据集蒸馏 Yefan Tao, Chris (Luyang) Kong, Andrey Kan, Laurent Callot

提出的DaLLME框架首先使用语言模型将原始文本数据转换为嵌入向量。然后通过旨在封装最大信息内容的过程，在嵌入空间中导出一组蒸馏向量。最后，vec2text模型将这些蒸馏向量翻译回文本形式。

文档理解

DocKD：从大语言模型到开放世界文档理解模型的知识蒸馏 Sungnyun Kim, Haofu Liao, Srikar Appalaraju, Peng Tang, Zhuowen Tu, Ravi Kumar Satzoda, R. Manmatha, Vijay Mahadevan, Stefano Soatto

信息检索

评估部分标注对信息检索的价值 Royi Rassin, Yaron Fairstein, Oren Kalinsky, Guy Kushilevitz, Nachshon Cohen, Alexander Libov, Yoav Goldberg

识别高考虑度电子商务搜索查询 Zhiyu Chen, Jason Choi, Besnik Fetahu, Shervin Malmasi

在对话式问答中学习何时检索、重写什么以及如何响应 *Nirmal Roy, Leonardo Ribeiro, Rexhina Blloshmi, Kevin Small

自然语言理解

大语言模型时代下的意图检测 Gaurav Arora, Shreya Jain, Srujana Merugu

提出了一种使用大语言模型进行自适应上下文学习和基于思维链的意图检测方法。

预测极短文档中的实体显著性 Ben Bullough, Harrison Lundberg, Chen Hu, Weihang Xiao

大语言模型评估

AXCEL：使用大语言模型进行自动可解释一致性评估 *P Aditya Sreekar, Sahil Verma, Suransh Chopra, Sarik Ghazarian, Abhishek Persad, Narayanan Sadagopan

仅用少量观察进行精确模型基准测试 Riccardo Fogliato, Pratik Patil, Nil-Jana Akpinar, Mathew Monfort

大语言模型微调

AdaZeta：用于内存高效大语言模型微调的自适应零阶张量训练适配 Yifan Yang, Kai Zhen, Ershad Banijamali, Thanasis Mouchtaris, Zheng Zhang

RoseLoRA：用于知识编辑和微调的预训练语言模型的行列稀疏低秩适配 Haoyu Wang, Tianci Liu, Ruirui Li, Monica Cheng, Tuo Zhao, Jing Gao

提出的行列稀疏低秩适配框架。

面向语音的大语言模型

适用于语音的指令调优语言模型 Hyundong Cho, Nicolaas Jedema, Leonardo Ribeiro, Karishma Sharma, Pedro Szekely, Alessandro Moschitti, Ruben Janssen, Jonathan May

大语言模型错误信息缓解

ECON：关于证据冲突的检测与解决 Cheng Jiayang, Chunkit Chan, Qianqian Zhuang, Lin Qiu, Tianhang Zhang, Tengxiao Liu, Yangqiu Song, Yue Zhang, Pengfei Liu, Zheng Zhang

用于知识图谱接地对话生成的生成式子图检索 Jinyoung Park, Minseok Joo, Joo-Kyung Kim, Hyunwoo J. Kim

HalluMeasure：使用思维链推理进行细粒度幻觉测量 Shayan Ali Akbar, Md Mosharaf Hossain, Tess Wood, Si-Chi Chin, Erica Salinas, Victor Alvarez, Erwin Cornejo

以知识为中心的幻觉检测 Xiangkun Hu, Dongyu Ru, Lin Qiu, Qipeng Guo, Tianhang Zhang, Yang Xu, Yun Luo, Pengfei Liu, Zheng Zhang, Yue Zhang

大语言模型推理

Auto-evolve：通过自我推理框架提升大语言模型性能 *Krishna Aswani, Alex Lu, Pranav Patankar, Priya Dhalwani, Iris Tan, Jayant Ganeshmohan, Simon Lacasse

大语言模型自校正

使用DeCRIM进行大语言模型自校正：分解、批判和精炼以增强对多约束指令的遵循 Thomas Palmeira Ferraz, Kartik Mehta, Yu-Hsiang Lin, Haw-Shiuan Chang, Shereen Oraby, Sijia Liu, Vivek Subramanian, Tagyoung Chung, Mohit Bansal, Nanyun Peng

在提出的DeCRIM流程中，大语言模型首先生成对用户请求的响应。然后分解器将请求分解为细粒度约束，批判模型就响应是否满足这些约束提供反馈。如果满足，则输出响应；如果不满足，大语言模型使用反馈来完善响应。

大语言模型训练

链中起舞：调和语言模型中的指令遵循与忠实性 Zhengxuan Wu, Yuhao Zhang, Peng Qi, Yumo Xu, Rujun Han, Yian Zhang, Jifan Chen, Bonan Min, Zhiheng Huang

DEM：用于混合数据分布训练的分布编辑模型 Dhananjay Ram, Aditya Rawal, Momchil Hardalov, Nikolaos Pappas, Sheng Zha

描述的分布编辑模型通过对n个个体数据分布进行预训练模型微调，并通过基本逐元素向量操作组合所得模型而产生。此处，提取的分布向量乘以权重系数，并将加权和添加到基础模型中。

用于语言模型对齐的进化对比蒸馏 Julian Katz-Samuels, Zheng Li, Hyokun Yun, Priyanka Nigam, Yi Xu, Vaclav Petricek, Bing Yin, Trishul Chilimbi

跳跃收敛：学习率转换的动态用于改进大语言模型训练 Shreyas Subramanian, Vignesh Ganapathiraman, Corey Barrett

使用迭代训练从成功对话中的相关子目标学习，用于面向任务的对话系统 Magdalena Kaiser, Patrick Ernst, Gyuri Szarvas

质量至关重要：评估使用工具的大语言模型的合成数据 Shadi Iskander, Nachshon Cohen, Zohar Karnin, Ori Shapira, Sofia Tolmach

查询自动补全

AmazonQAC：大规模自然主义查询自动补全数据集 Dante Everaert, Rohit Patki, Tianqi Zheng, Christopher Potts

DiAL：用于查询自动补全的多样性感知列表排序 Sonali Singh, Sachin Farfade, Prakash Mandayam Comar

问答

RAG-QA竞技场：评估长形式检索增强问答的领域鲁棒性 Rujun Han, Yuhao Zhang, Peng Qi, Yumo Xu, Jenyuan Wang, Lan Liu, William Yang Wang, Bonan Min, Vittorio Castelli

使用弱监督检索长形式问答的上下文信息 Philipp Christmann, Svitlana Vakulenko, Ionut Teodor Sorodoc, Bill Byrne, Adrià de Gispert

负责任的人工智能

大语言模型的属性控制微调：解毒案例研究 Tao Meng, Ninareh Mehrabi, Palash Goyal, Anil Ramakrishna, Aram Galstyan, Richard Zemel, Kai-Wei Chang, Rahul Gupta, Charith Peris

FLIRT：上下文红队测试中的反馈循环 Ninareh Mehrabi, Palash Goyal, Christophe Dupuy, Qian Hu, Shalini Ghosh, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta

大语言模型成员推断的数量级加速 Rongting Zhang, Martin Bertran Lopez, Aaron Roth

合成数据生成

CorrSynth：一种从大语言模型生成多样化数据集的关联采样方法 Suhas Kowshik, Abhishek Divekar, Vijit Malik

引入了一种使用示例间反相关性而非少量样本生成的采样方法。

DATA ADVISOR：大语言模型安全对齐的动态数据管理 Fei Wang, Ninareh Mehrabi, Palash Goyal, Rahul Gupta, Kai-Wei Chang, Aram Galstyan

评估高风险领域中的差分隐私合成数据生成 Krithika Ramesh, Nupoor Gandhi, Pulkit Madaan, Lisa Bauer, Charith Peris, Anjalie Field

SYNTHESIZRR：使用检索增强生成多样化数据集 Abhishek Divekar, Greg Durrett

提出的过程抽象描述。内容采购阶段从大型语料库中为每个上下文协变量检索K个唯一文档。任务反转阶段使用参数化上下文优化提示，它接受参数、检索到的文档和语言化目标标签。通用教师大语言模型自回归生成合成协变量。因此，每个上下文示例产生K个唯一的合成示例，将其与目标一起包含在数据集中。

文本分类

预训练语言模型的距离感知校准 *Alberto Gasparin, Gianluca Detommaso

用于大规模高效文本分类的性能引导大语言模型知识蒸馏 Flavio Di Palo, Prateek Singhi, Bilal Fadlallah

提示调优的多任务分类学变换器 Rajashekar Vasantha, Nhan Nguyen, Yue Zhang

文本摘要

显著信息提示以引导基于提示的抽象摘要中的内容 Lei Xu, Asad Karim, Saket Dingliwal, Aparna Elangovan

EMNLP 2024大语言模型研究全景解析

本文系统介绍了某机构在EMNLP 2024会议上发表的50余篇论文，涵盖大语言模型训练、代码生成、文档理解、信息检索等核心技术领域，重点探讨了幻觉缓解、自校正机制和多模态应用等前沿研究方向。