改进可解释AI的解释能力

因果分析既提高了基于概念的解释模型的分类准确性，也提升了其识别概念的相关性。

可解释性是当今AI研究的重要主题。如果我们希望信任深度学习系统为我们做决策，通常需要了解决策背后的原因。基于概念的解释是可解释AI的一种流行方法。模型不仅要学习从输入特征预测标签，还要学习为大量概念赋值。例如，如果输入是鸟类图像，概念可能包括喙形、胸部颜色和翅膀图案等。然后，模型根据概念值对输入进行分类：比如识别为黄嘴蜡嘴雀。

但如果训练数据中存在混淆变量，这种方法就会遇到问题。例如，如果具有匙形喙的鸟类总是被拍摄在水面上，模型可能学会将水面图像与“喙形：匙形”概念关联起来。这可能导致在椋鸟恰好被拍摄在湖泊附近时产生荒谬的结果。

在国际学习表征会议（ICLR）上发表的一篇论文中，我们采用了一种从因果模型中消除混淆变量的技术——工具变量分析，应用于基于概念的解释问题。

在包含概念标注图像的基准数据集测试中，我们的方法将基于概念的解释模型的分类准确率平均提高了25%。使用移除再训练（ROAR）方法，我们还证明该方法提升了模型识别与正确图像标签相关概念的能力。

因果图分析

我们从一个简单的因果图开始分析，该图编码了我们对变量间因果关系的先验信念。在我们的案例中，信念是预测目标（y）导致概念表示（c），进而导致输入（x）。请注意预测发生在相反方向，但这并不重要，因为数据与概念、概念与标签之间的统计关系保持不变。

混淆变量使这个简单模型复杂化。在更现实的因果图中，u是一个混淆变量，同时影响输入和模型学习的概念（c）；d是我们希望学习的去偏概念。

在我们的示例中，u代表具有匙形喙鸟类图像常见的水面背景，c是受混淆的喙形概念，d是去偏的喙形概念，与鸟类喙部的实际视觉特征相关。

还需要注意，输入和标签之间存在第二条因果路径，绕过了概念表示。例如，标注鸟类图像的专家可能依赖概念列表未捕捉到的图像特征。

工具变量分析的应用

我们的方法使用了经典工具变量分析中的技巧，该技巧考虑变量p对变量q有因果影响，但这种影响被同时影响p和q的混淆变量u所掩盖。分析假设存在一个工具变量z，与p相关但与q无关。工具变量分析使用回归从z估计p；由于z独立于混淆变量u，因此对p的估计（记为p̂）也独立于u。因此，对q在p̂上的回归就是p对q因果影响的估计。

在我们的因果图中，我们可以使用回归从y估计d，从d估计c，打破u与c估计值ĉ之间的因果联系。（在实践中，我们将c的估计值设为等于d的估计值。）

实验结果

使用包含200种鸟类11,788张图像、标注了312个概念的基准数据集，我们训练了两个基于概念的解释模型，除了一个使用回归估计概念而另一个没有外，其他完全相同。使用回归的模型比不使用的模型准确率高25%。

分类器的准确性并不能说明概念识别的准确性，这是模型的另一个目的。为了评估这一点，我们使用了ROAR方法。首先，我们使用每个训练示例的所有312个概念训练两个模型。然后丢弃每个训练示例中最不相关的31个概念（10%）并重新训练模型。接着丢弃下一个最不相关的31个概念并重新训练，依此类推。

我们发现，随着不相关概念被丢弃，我们的去偏模型比基线模型表现出更大的相对准确率提升。这表明我们的模型在识别相关概念方面比基线做得更好。