研究重点概述

某中心在国际机器学习大会（ICML 2024）发表的论文偏向理论探索，部分研究涉及异常检测和自动语音识别等应用场景。主要研究方向包括学习算法、强化学习和隐私保护，大语言模型相关研究持续活跃，涵盖持续学习、幻觉缓解和隐私保护等领域。

关键技术研究

异常检测

在线自适应异常阈值置信序列方法
提出适应分布漂移的异常检测阈值调整方法。实验中采用MNIST手写数字序列模拟信号，将数字0到1的变化作为分布漂移，非0/1数字模拟异常。

自动语音识别

交互式口语对话系统的高效自学习框架
优化对话系统的自学习机制。

因果推断

多重稳健因果变化归因方法
提升因果推断的稳健性。

代码补全

REPOFORMER：仓库级代码选择的选择性检索
改进代码仓库级别的补全效率。

持续学习

MemoryLLM：面向可自更新的大语言模型
探索语言模型的持续学习能力。

对比学习

EMC2：对比学习的高效MCMC负采样与全局收敛
提升对比学习训练效率。

数据预处理

减少截断优化语言建模
通过减少数据截断提升模型效果。

可解释AI

用分布值解释概率模型
将博弈论方法（如Shapley值分析）从标量输出推广至概率分布输出，保留概率模型信息。

幻觉缓解

大语言模型置信度评分的多校准方法
降低模型幻觉风险。

学习算法

• MADA：通过超梯度下降的元自适应优化器
• 语言模型微调的方差缩减零阶方法
  优化训练算法与微调策略。

大语言模型解码

单上下文大批量采样的分叉注意力机制
提升解码效率。

模型压缩

COLLAGE：轻量低精度大语言模型训练策略
降低计算资源需求。

隐私保护

基础模型偏置项的差分隐私微调
仅微调偏置项（非权重参数）使训练速度提升2-30倍，同时保持精度与隐私性。
通过分位数回归的扩散模型成员推理攻击
分析模型隐私脆弱性。

强化学习

• 演员-评论家多目标强化学习的有限时间收敛与样本复杂度
• 函数空间中的目标网络学习
  突破参数空间等价限制，在函数空间协调模型提升性能。
• 聚合bandit反馈的线性MDP近乎最优遗憾
  优化决策过程。

负责任AI

潜在空间偏差发现：无监督去偏方法
自动识别模型偏差。

检索增强生成

任务特定考试生成的检索增强语言模型自动评估
提升评估效率。

稳健学习

超额风险的稳健多任务学习
增强模型泛化能力。

科学机器学习

用量化不确定性改进偏微分方程的域外学习
提升科学计算模型稳定性。

迁移学习

从大型基础模型向小型下游模型的知识迁移
优化模型知识传递效率。