机器学习模型调试新方法解析

某中心提出了一种名为Defuse的新方法，用于自动发现机器学习模型在特定输入类型上的错误并提供修正方案。该方法在NeurIPS 2021可解释AI调试与诊断研讨会上发布。

方法概述

Defuse针对训练好的图像分类模型，生成与测试集输入相似但经过扰动的新图像，这些图像会被分类器错误处理。随后，Defuse将错误分类的图像归类为高级“模型错误”——即 consistently 导致错误的相似图像组。用户可据此识别模型失败场景并训练更鲁棒的模型。

在重新训练过程中，人工生成的错误数据与原始训练数据按参数λ控制的比例混合。实验表明，在三个样本数据集中，存在λ值能使Defuse识别的输入类保持高性能，同时基本保留原始数据性能。

Defuse使用变分自编码器（VAE）在分类器训练数据上生成合成图像。VAE通过潜在空间中的向量表示捕获输入数据的显著属性，生成具有语义差异的新图像。

在三个公共基准数据集上的实验表明，Defuse能有效修正识别和蒸馏阶段发现的错误。与仅基于标注错误图像进行微调的基线相比，Defuse的修正步骤表现更优。

Defuse生成的错误分类实例展现出训练集中未见过的新错误类型。通过比较错误分类区域数据与错误训练数据的最近邻，证实了该方法能揭示新的模型错误源。

Defuse代码已在GitHub上公开，以促进进一步研究。