研究领域概览

神经信息处理系统大会（NeurIPS）作为人工智能领域顶级会议，汇集了某机构多条业务线的研究成果。论文既涵盖计算机视觉、推荐系统等具体应用，也涉及持续学习、联邦学习和隐私保护等通用问题，并对对比学习、变分自编码器等主流机器学习方法进行优化。

核心技术突破

计算机视觉

• 大规模点云自监督预训练：将大规模3D点云分割为M个占用体积，通过随机旋转和缩放生成两个增强视图，进而采样产生全局和局部裁剪
• 半监督视觉Transformer规模化应用：实现大规模半监督视觉Transformer架构
• 视频目标分割自监督方法：开发无需标注的视频目标分割技术

持续学习

• 结构化预测中的模型更新回归测量：针对自然语言处理任务提出模型更新回归的量化方法
• Transformer内存效率优化：提升Transformer在持续学习中的内存使用效率

联邦学习

• 自我感知个性化联邦学习：构建具备自我感知能力的个性化联邦学习框架

机器学习方法

• 变分自编码器机制分析：证明VAE可执行独立机制分析
• 对比学习的大批量大小必要性：从梯度偏差角度解释大批量训练需求
• 变分推断中的似然不变性影响：揭示贝叶斯神经网络中均值场近似与显式建模不变性的等价性

隐私保护

• 多任务学习的私有合成数据：为多任务学习和边际查询生成隐私保护合成数据

表格数据表示学习

• 邻域传播增强表示：通过超图建模多个数据实例并利用标签捕获关联性，超越传统树模型和检索方法

应用场景

• 地球系统预测：时空Transformer应用于地球系统预报
• 强化学习：自适应兴趣强调强化学习、在线网络加速深度强化学习
• 推荐系统：特权特征蒸馏理解、提升bandits算法