连续变量处理时的因果推断

在科学和商业活动中，研究者经常关注某种处理（例如更改网页字体）对响应变量（例如访客在页面上停留的时间）的因果效应。通常，处理是二元的：页面使用一种字体或另一种字体。但有时处理是连续的。例如，软饮料制造商可能希望测试向新饮料中添加柠檬调味料的一系列可能性。

通常，存在既影响处理又影响响应变量的混杂因素，因果估计必须考虑这些因素。虽然处理为二元时处理混杂因素的方法已得到充分研究，但连续处理的因果推断更具挑战性且研究较少。

在今年的国际机器学习会议（ICML）上，提出了一篇论文，提出了一种新方法来估计连续变化处理的效果，该方法结合了端到端机器学习模型与倾向得分加权和熵平衡的概念。该方法在两个不同的合成数据集上与四种先前方法（包括传统熵平衡）进行了比较，一个数据集中干预与响应变量之间的关系是线性的，另一个是非线性的。在线性数据集上，该方法相比性能最佳的前置方法降低了27%的均方根误差，而在非线性数据集上，改进达到了38%。

倾向得分

连续处理使因果推断更加困难，主要是因为它们导致每个单位（例如每个受试者）产生不可数的许多潜在结果，每个单位仅观察到一个结果，且跨单位观察。例如，在一毫升和两毫升之间有无限数量的柠檬调味料体积，对应无限可能的客户偏好。在连续处理设置中，因果推断模型将连续输入映射到连续输出或响应曲线。

在此因果图中，x 是一个混杂因素，对 a 和 y 均施加因果影响。

如果两个变量受到第三个变量（混杂因素）的影响，则很难确定它们之间的因果关系。考虑一个简单的因果图，涉及处理 a、响应变量 y 和混杂因素 x，x 影响 a 和 y。在连续处理的背景下，考虑混杂因素的标准方法是通过倾向得分加权。本质上，倾向得分加权会折扣一个变量对另一个变量的影响，如果它们都受到混杂因素的影响。

例如，在我们的示例图中，我们会根据给定 x 的 a 的逆概率对 a 和 y 之间的边进行加权。也就是说，给定 x 的 a 的可能性越大，我们认为 a 对 y 的影响越小。然而，倾向得分对于某些单位可能非常大，导致数据不平衡，并导致估计不稳定和推断不确定。熵平衡是一种纠正此问题的方法，通过选择权重以最小化它们之间的差异，即最大化它们的熵。

端到端平衡

新算法基于熵平衡，并通过端到端优化学习权重以直接最大化因果推断准确性。该方法称为端到端平衡或 E2B。

下图说明了该方法。变量 {xi, ai} 是数据集中混杂因素和处理的配对，lq 是一个神经网络，学习生成一组熵平衡权重 {wi}，给定一个混杂因素-处理对。函数 µ-bar（µ 上带一条线）是一个随机选择的响应函数，即计算给定处理 a 的响应变量 ȳ 值的函数。

因此，三元组 {xi, ai, ȳi} 构成了一个合成数据集：真实的 x 和 a，但人工生成的 y。在训练期间，神经网络学习产生熵平衡权重，以重新创建已知的响应函数 µ-bar。然后，一旦网络训练完成，我们将其应用于真实数据集（具有真实的 y）以估计真实的响应函数 µ-hat。

在论文中，提供了理论分析证明该方法的一致性。还研究了合成数据生成过程中错误指定（mis-specification）的影响。即，表明即使初始选择高度不准确的随机响应函数 µ-bar，也不会阻止模型收敛到真实响应函数 µ-hat 的良好估计。

研究领域

机器学习

标签

因果分析、因果推断、ICML

会议

ICML 2022

相关出版物

端到端平衡用于因果连续处理效应估计

关于作者

Taha Bahadori 是某机构设备组织的高级机器学习科学家。