某中心在EMNLP 2022的40余篇论文快速指南
熟悉的信息提取和问答主题与机器人和地理定位学习共享空间,查询重写成为一个动态的研究领域。
某中心在今年实证自然语言处理方法会议(EMNLP)上发表的40多篇论文——包括被EMNLP新行业轨道接受的论文——涵盖了一些熟悉的主题,如自然语言理解和问答。但它们也涉足更广泛的领域,包括机器人和地理空间学习等不同主题——其中两篇论文涉及双关语生成。
查询重写(其应用包括自学习和参考解析)已成为某中心的一个动态研究领域,今年在EMNLP上有五篇相关论文。几篇论文探索了快速发展的提示工程领域,即引导大型语言模型产生所需类型的输出。
以下是某中心EMNLP论文的快速指南,包括学术轨道和行业轨道。
持续学习
- 迭代分层测试和测量用于自动化模型更新:Elizabeth Dekeyser等人
- 面向基于需求的口语理解模型更新:我们学到了什么?:Quynh Do等人
- 使用局部分布近似进行无监督训练数据重新加权用于自然语言理解:Jose Garrido Ramas等人
对话系统
“为任务导向对话部署基于检索的响应模型"提出了一种模型,其中交叉注意力层学习历史、配置文件特征和候选响应之间的语义相关性,评分函数计算并排名候选响应。
- 为任务导向对话部署基于检索的响应模型:Lahari Poddar等人
- 任务导向对话系统的对话意义表示:Xiangkun Hu等人
- 为任务导向对话系统注入领域知识到语言模型中:Denis Emelin等人
评估
GEMv2:单行代码的多语言自然语言生成基准测试:Sebastian Gehrmann等人
事实验证
“使用依赖树验证机器生成文本的事实性"提出的方法从输入声明的依赖解析树中识别实体属性,以评估其事实性。
- 使用依赖树验证机器生成文本的事实性:Alex Estes等人
公平性
MT-GenEval:评估机器翻译中性别准确性的反事实和上下文数据集:Anna Currey等人
幽默
- 情境化双关生成:Jiao Sun等人
- ExPUNations:用关键词和解释增强双关语:Jiao Sun等人
信息提取
- 跨语言产品评论摘要的混合方法:Saleh Soltan等人
- 询问与验证:属性值提取的跨度候选生成和验证:Yifan Ding等人
- DORE:基于生成框架的文档有序关系提取:Qipeng Guo等人
“DORE:基于生成框架的文档有序关系提取"提出的方法识别输入文档中同一实体的多个实例,并构建记录实体之间关系的关系矩阵。
- 学习修改参考文献以实现忠实摘要:Griffin Adams等人
- 弱监督信息提取中训练数据过滤的原型表示:Nasser Zalmout等人
信息检索
- 通过术语影响分解加速学习稀疏索引:Joel Mackenzie等人
- 机器翻译对电子商务多语言搜索的影响:Bryan Zhang等人
知识蒸馏
- 将多语言Transformer蒸馏到CNN中用于可扩展意图分类:Besnik Fetahu等人
- 知识蒸馏传输集及其对下游自然语言理解任务的影响:Charith Peris等人
机器学习
使用焦点损失校准不平衡分类器:实证研究:Cheng Wang等人
模型适应
元学习差异:为大型语言模型的高效适应做准备:Zejiang Hou等人
在"开放世界分类与自适应负样本"中,研究人员提出了一种区分已知和开放(未知)数据类别的新方法。该图将他们的方法(d)与普通监督学习(a)和自适应决策边界方法(c)进行了比较。
- 开放世界分类与自适应负样本:Ke Bai等人
多模态交互
多模态上下文传递:Prashan Wanigasekara等人
自然语言处理
- McPhraSy:多上下文短语相似性和聚类:Amir DN Cohen等人
- 使用抽象意义表示进行无监督句法控制释义生成:Kuan-Hao Huang等人
自然语言理解
- 使用基于模型解释的训练样本选择改进大规模对话助手:Stefan Schroedl等人
- 通过细粒度查询理解改进文本到SQL语义解析:Jun Wang等人
- 通过深度度量学习学习冷启动和难以解析地址的地理位置:Govind, Saurabh Sohoney
“通过深度度量学习学习冷启动和难以解析地址的地理位置"提出了一种在地址上使用深度度量学习来捕捉地理空间距离语义的方法。
提示工程
DynaMaR:带有掩码标记表示的动态提示:Xiaodi Sun等人
查询重写
在"CGF:对话AI中查询重写的约束生成框架"中,研究人员使用trie(每个节点用一个单词扩展文本的树)来约束生成查询重写的模型输出。
- CGF:对话AI中查询重写的约束生成框架:Jie Hao等人
- CycleKQR:无监督双向关键词问题重写:Andrea Iovine等人
- PAIGE:对话系统中查询重写的个性化自适应交互图编码器:Daniel Bis等人
- PENTATRON:基于检索的对话理解的个性化上下文感知Transformer:Niranjan Uma Naresh等人
- 对话问答的强化问题重写:Zhiyu Chen等人
问答系统
- 用于高效准确排名任务的集成Transformer:应用于问答系统:Yoshitomo Matsubara等人
- FocusQA:具有焦点上下文的开放领域问答:Gianni Barlacchi等人
- 从答案排名到答案生成的知识转移:Matteo Gabburo等人
- 使用句子级目标预训练Transformer模型用于答案句子选择:Luca Di Liello等人
- RLET:基于强化学习的可解释问答与蕴含树方法:Tengxiao Liu等人
机器人技术
ALFRED-L:研究语言在交互式视觉环境中动作学习中的作用:Arjun R. Akula等人
“ALFRED-L:研究语言在交互式视觉环境中动作学习中的作用"为体现任务完成的ALFRED基准提出了一个新的测试分割。测试分割——ALFRED-L——包括指示代理沿其轨迹回溯到已知参考位置,以评估其是否能记住这些位置。