ICML 2023机器学习研究技术概览

自适应神经计算

自适应神经计算指根据输入动态调整神经网络模型的计算量。在ICML会议上，某中心研究人员将这种方法应用于自动语音识别。

前瞻性自适应非因果变换器用于流式神经转换器 Grant Strimel, Yi Xie, Brian King, Martin Radfar, Ariya Rastrow, Athanasios Mouchtaris

多臂赌博机问题涉及探索-利用困境：与环境交互的智能体必须同时最大化某些奖励并学习如何最大化该奖励。这些问题通常出现在强化学习中。

延迟适应策略优化及改进的对抗性MDP遗憾边界 Tal Lancewick, Aviv Rosenberg, Dmitry Sotnikov

线性上下文和组合动作的探索激励 Mark Sellke

从赌博机反馈中进行多任务离策略学习 Joey Hong, Branislav Kveton, Manzil Zaheer, Sumeet Katariya, Mohammad Ghavamzadeh

具有扩散生成先验的Thompson采样 Yu-Guan Hsieh, Shiva Kasiviswanathan, Branislav Kveton, Patrick Bloebaum

差分隐私是一种统计隐私保证，涉及最小化攻击者确定给定数据项是否包含在特定数据集中的概率。

低成本大规模模型的差分隐私优化 Zhiqi Bu, Yu-Xiang Wang, Sheng Zha, George Karypis

基于局部敏感量化的快速私有核密度估计 Tal Wagner, Yonatan Naamad, Nina Mishra

分布偏移是指现实世界数据可能与机器学习模型训练数据集具有不同分布的问题。在ICML上，某中心研究人员提出了一个有助于解决此问题的新数据集。

RLSbench：宽松标签偏移下的域适应 Saurabh Garg, Nick Erickson, James Sharpnack, Alex Smola, Sivaraman Balakrishnan, Zachary Lipton

集成方法结合多个不同模型的输出来得出最终结论。在ICML上，某中心研究人员证明了关于堆叠泛化集成的新理论结果。

学习集成策略的理论保证及其在时间序列预测中的应用 Hilaf Hasson, Danielle Maddix Robinson, Bernie Wang, Youngsuk Park, Gaurav Gupta

神经网络的训练方法意味着即使其开发人员也可能不知道它们正在执行什么计算。在ICML上，某中心研究人员探索了一种称为基于样本解释的可解释AI方法。

正则化高维模型的表示点选择解释 Che-Ping Tsai, Jiong Zhang, Hsiang-Fu Yu, Jyun-Yu Jiang, Eli Chien, Cho-Jui Hsieh, Pradeep Ravikumar

极端多标签分类是在标签空间巨大时的数据分类问题。在ICML上，某中心研究人员探索使用侧信息来改进分类器性能。

PINA：通过预测实例邻域聚合在极端多标签分类中利用侧信息 Eli Chien, Jiong Zhang, Cho-Jui Hsieh, Jyun-Yu Jiang, Wei-Cheng Chang, Olgica Milenkovic, Hsiang-Fu Yu

图神经网络生成图节点的向量表示，其中考虑了节点本身及其在图中的邻居信息。在ICML上，某中心研究人员研究了更好地初始化此类网络的技术。

图神经网络的初始化 Jiahang Li, Yakun Song, Xiang Song, David Paul Wipf

超图是图结构的泛化：普通图中的边恰好连接两个节点，而超图中的边可以连接多个节点。在ICML上，某中心研究人员提出了一种构建超图神经网络的新方法。

从超图能量函数到超图神经网络 Yuxin Wang, Quan Gan, Xipeng Qiu, Xuanjing Huang, David Paul Wipf

超参数是神经网络模型的属性，如学习率和网络层的数量与宽度，优化它们是模型训练的标准步骤。在ICML上，某中心研究人员提出使用保形分位数回归作为高斯过程的替代方法。

使用保形分位数回归优化超参数 David Salinas, Jacek Golebiowski, Aaron Klein, Matthias Seeger, Cédric Archambeau

独立性检验是许多统计分析中的关键步骤，旨在确定两个变量是否独立。在ICML上，某中心研究人员提出了一种根据确定独立性的难度调整收集样本数量的独立性检验方法。

序列核化独立性检验 Sasha Podkopaev, Patrick Bloebaum, Shiva Kasiviswanathan, Aaditya Ramdas

模型选择涉及为给定任务确定特定的模型架构和超参数设置，通常涉及从模型训练数据中分离出的验证集。在ICML上，某中心研究人员提出在训练数据稀疏的情况下使用合成数据进行验证。

用于模型选择的合成数据 Alon Shoshan, Nadav Bhonker, Igor Kviatkovsky, Matan Fintz, Gérard Medioni

深度学习方法在科学计算中显示出潜力，可用于预测偏微分方程的解。在ICML上，某中心研究人员研究了在计算偏微分方程解时向机器学习模型的预测输出添加已知物理约束的问题。

学习能够尊重守恒定律的物理模型 Derek Hansen, Danielle Maddix Robinson, Shima Alizadeh, Gaurav Gupta, Michael Mahoney

将Transformer模型的能力扩展到表格数据是近年来新兴的研究领域。在ICML上，某中心研究人员展示了如何提高使用表格数据训练的模型的泛化能力。

XTab：表格变换器的跨表预训练 Bingzhao Zhu, Xingjian Shi, Nick Erickson, Mu Li, George Karypis, Mahsa Shoaran