NeurIPS 2024某中心论文技术指南

2024年神经信息处理系统大会（NeurIPS）今日开幕，作为AI领域的顶级会议，某中心被接收的论文展示了其在人工智能研究领域的广泛布局。

大语言模型和其他基础模型在过去几年主导了这一领域，某中心的论文反映了这一趋势，涵盖了检索增强生成、使用LLMs进行代码生成、常识推理和多模态模型等主题。训练方法也成为重点领域，涉及内存高效训练、人类反馈强化学习、带拒绝的分类以及Transformer模型的收敛速率等研究。

同时，某中心的论文还展示了对赌博机问题（长期是某中心NeurIPS投稿的主要内容）、语音处理等传统主题的持续关注，以及机器学习在科学计算和自动推理中应用等新兴领域。论文《B’MOJO：具有持久记忆和衰减记忆的基础模型混合状态空间实现》提出了一种新的机器学习范式，基于转导学习概念。

自动推理

神经模型检查 Mirco Giacobbe, Daniel Kroening, Abhinandan Pal, Michael Tautschnig

赌博机问题

无法实验时的自适应实验 Yao Zhao, Kwang-Sung Jun, Tanner Fiez, Lalit Jain

使用扩散先验的在线后验采样 Branislav Kveton, Boris Oreshkin, Youngsuk Park, Aniket Deshmukh, Rui Song

代码生成

训练LLMs更好地自我调试和解释代码 Nan Jiang, Xiaopeng LI, Shiqi Wang, Qiang Zhou, Baishakhi Ray, Varun Kumar, Xiaofei Ma, Anoop Deoras

“训练LLMs更好地自我调试和解释代码"中提出的数据收集和模型训练框架

常识推理

语言模型能学会跳过步骤吗？ Tengxiao Liu, Qipeng Guo, Xiangkun Hu, Jiayang Cheng, Yue Zhang, Xipeng Qiu, Zheng Zhang

计算流体动力学

WindsorML：用于汽车空气动力学的高保真计算流体动力学数据集 Neil Ashton, Jordan B. Angel, Aditya S. Ghate, Gaetan K. W. Kenway, Man Long Wong, Cetin Kiris, Astrid Walle, Danielle Maddix Robinson, Gary Page

LLM评估

SetLexSem挑战：使用集合操作评估语言模型的词汇和语义鲁棒性 Bardiya Akhbari, Manish Gawali, Nicholas Dronen

为了评估LLMs对集合成员语义变化的鲁棒性，某中心研究人员及其同事通过采样上位词对（如"哺乳动物"和"车辆”）并从中提取下位词，创建了"欺骗性"集合，涵盖三种不同条件。LLMs在第二种条件（交换）下表现出独特的失败模式，第一种条件（未交换）的准确率均值和方差优于随机基线。此图来自"SetLexSem挑战：使用集合操作评估语言模型的词汇和语义鲁棒性"

内存管理

未知权重的在线加权分页 Orin Levy, Aviv Rosenberg, Noam Touitou

模型架构

B’MOJO：具有持久记忆和衰减记忆的基础模型混合状态空间实现 Luca Zancato, Arjun Seshadri, Yonatan Dukler, Aditya Golatkar, Yantao Shen, Ben Bowman, Matthew Trager, Alessandro Achille, Stefano Soatto

隐私

使用有限公共数据预训练差分隐私模型 Zhiqi Bu, Xinwei Zhang, Sheng Zha, Mingyi Hong

机器去学习的重建攻击：简单模型易受攻击 Martin Bertran Lopez, Shuai Tang, Michael Kearns, Jamie Morgenstern, Aaron Roth, Zhiwei Steven Wu

检索增强生成（RAG）

RAGChecker：用于诊断检索增强生成的细粒度框架 Dongyu Ru, Lin Qiu, Xiangkun Hu, Tianhang Zhang, Peng Shi, Shuaichen Chang, Cheng Jiayang, Cunxiang Wang, Shichao Sun, Huanyu Li, Zizhao Zhang, Binjie Wang, Jiarong Jiang, Tong He, Zhiguo Wang, Pengfei Liu, Yue Zhang, Zheng Zhang

语音处理

CA-SSLR：用于广义语音处理的条件感知自监督学习表示 Yen-Ju Lu, Jing Liu, Thomas Thebaud, Laureano Moro-Velazquez, Ariya Rastrow, Najim Dehak, Jesus Villalba

“CA-SSLR：用于广义语音处理的条件感知自监督学习表示"中提出的CA-SSLR方案及其时间通道注意力调节器。只有调节器和解码器的线性投影是可训练的；所有其他参数在适应期间被冻结。CA-SSLR通过集成中间LID/SV条件来改进SSL特征，保持预训练参数冻结（左）。可训练的时间通道注意力调节器集成了语言和说话人预测（右）

训练方法

CoMERA：通过秩自适应张量优化实现计算和内存高效训练 Zi Yang, Ziyue Liu, Samridhi Choudhary, Xinfeng Xie, Cao Gao, Siegfried Kunzmann, Zheng Zhang

人类偏好引导的最优设计 Subhojyoti Mukherjee, Anusha Lalitha, Kousha Kalantari, Aniket Deshmukh, Ge Liu, Yifei Ma, Branislav Kveton

通过学习密度比进行拒绝 Alexander Soen, Hisham Husain, Philip Schulz, Vu Nguyen

揭示Transformer的梯度下降动态 Bingqing Song, Boran Han, Shuai Zhang, Jie Ding, Mingyi Hong

视频

统一令牌实现视频中的语言指导推理分割 Zechen Bai, Tong He, Haiyang Mei, Pichao Wang, Ziteng Gao, Joya Chen, Lei Liu, Pichao Wang, Zheng Zhang, Mike Zheng Shou

“统一令牌实现视频中的语言指导推理分割"中提出的视频对象分割框架

长视频理解的视频令牌合并 Seon Ho Lee, Jue Wang, Zhikang Zhang, David Fan, Xinyu (Arthur) Li

视觉语言模型

统一词汇表示实现可解释的视觉语言对齐 Yifan Li, Yikai Wang, Yanwei Fu, Dongyu Ru, Zheng Zhang, Tong He