因果推断与面板数据分析方法新探

在近期某中心机器学习会议（AMLC）的主题演讲中，某机构学术研究顾问、斯坦福大学教授暨诺贝尔经济学奖得主Guido Imbens就“面板数据”设定中的因果效应估计分享了见解。

背景与价值

自2013年起，某中心每年举办内部机器学习会议（AMLC），汇集全球机器学习实践者分享工作、交流技术与最佳实践。2015年，斯坦福大学商学院经济学教授Imbens曾就因果关系与机器学习举办广受欢迎的教程。九年后，荣膺诺贝尔经济学奖的Imbens（担任某机构学术研究顾问已十年）成为2024年10月AMLC的主题演讲嘉宾之一。

Imbens在演讲中讨论了因果推断——这是他三十多年研究的主线，也是诺贝尔奖委员会在颁奖词中强调的主题。他特别关注所谓的“面板数据”，其中多个单元（如产品、客户或地理区域）和结果（如销售额或点击量）在离散时间点被观测。在特定时间跨度内，某些单元接受处理（如特殊产品促销或新环境法规），其效果反映在结果测量中。因果推断是确定结果随时间变化中有多少可归因于处理的过程，需调整由数据总体趋势导致的虚假相关性（这些趋势可从未处理单元中推断）。

Imbens首先谈到在某中心工作的价值：“自2014年与某中心团队合作以来，这里的互动和所见问题一直是我研究的灵感来源。与实践者交流方法应用对我的计量经济学、统计学和方法论研究极为有益。”

面板数据与估计方法

面板数据通常由一对矩阵表示：行代表单元，列代表时间点。一个矩阵的条目表示特定单元在特定时间的测量值；另一个矩阵仅取二进制值，表示给定单元在对应时间跨度内是否接受处理。

理想情况下，对于给定单元和时间跨度，我们会运行未处理实验，然后回溯时间再次运行处理实验。但由于时间不可逆，因此对于矩阵中每个处理单元，我们基于其他单元和时间段的结果估计未处理时的测量值。

为简化解释，Imbens考虑了仅一个单元在一个时间间隔被处理的情况：“一旦方法在此案例中有效，便可自然扩展至更一般的分配机制。”

五种传统估计方法

Imbens描述了五种标准方法用于估计处理单元若未处理时的结果：

差异中的差异（Difference of Differences）：对处理前所有未处理数据进行回归分析，回归函数用于估计未处理时的结果。
合成控制（Synthetic Control）：将处理单元的控制版本合成为其他控制单元的加权平均。例如，通过其他州的吸烟率凸组合估计加州反吸烟法规的效果。
带截距的合成控制：在合成控制方程中添加截距项。
矩阵补全法（Matrix Completion）：在差异中的差异函数中添加低秩矩阵以近似结果矩阵。
合成差异中的差异（Synthetic Difference of Differences）：根据控制单元与处理单元的相似性加权单元-时间测量值与回归曲线之间的距离。

传统方法的局限性

Imbens指出这些方法存在两个主要问题：

行与列可交换性假设不合理：单元可交换性合理，但时间维度不同——近期数据（如2019年）比远期数据（如1983年）更具预测价值。
处理分配随机性下的性能下降：随机分配导致控制单元频繁变动，使回归分析困难。

新估计器：双重加权因果面板（DWCP）

Imbens提出基于矩阵补全法的新估计器，添加两组权重：

时间权重：根据控制单元测量值与处理单元的时间距离降低贡献，优先近期测量。
绝对距离权重：根据控制单元测量值与处理单元的绝对距离降低贡献，限制稀疏数据中异常值的影响。

在九组现有数据集上的测试显示，新估计器在八组数据中优于所有传统方法（有时优势显著），仅一组数据略逊于差异中的差异法（但后者在多组数据中表现最差）。

方差估计与统计功效

Imbens还讨论了反事实估计器方差估计的方法，主张使用条件方差估计器（固定单元或时间变量），其虽方差较高但统计功效更强。实验结果表明，在异方差数据中，使用条件方差的估计器比其他估计器具有更高功效。

未来方向

Imbens总结道：“估计和方差估计均需进一步工作。未来模型应结合结果建模的灵活性（如因子模型和局部估计权重），并需在方差估计中兼顾功效和有效性，尤其考虑异方差性的建模。”