使用合成控制法估算客户价值增量提升

在当今竞争激烈的数字环境中，了解用户与产品的互动对于推动收入和建立持久的客户关系至关重要。在PayPal，我们的数据科学团队使用因果推断来评估关键客户行为（例如采用新产品或将信用卡添加到他们的钱包）对参与度（以每账户交易数或TPA衡量）、收入和利润的影响，以帮助做出数据驱动的战略决策。

如果孤立地看，产品采用或应用程序中的用户行为产生的直接利润可能为0美元。然而，这并不一定意味着这些事件没有推动整个PayPal生态系统的参与度和货币化；它们可以改变用户与其他PayPal产品的互动方式，从而使用户开始产生更多利润。

为了衡量用户行为或产品采用的总体影响，我们引入了Delta CV（客户价值增量），并将其定义为客户在采用新产品或完成某项行为后第一年的增量利润率。例如，如果采用加密技术的平均Delta CV为20美元，我们预计首次采用加密技术的客户在采用后的接下来12个月内平均会带来20美元的额外利润。我们以同样的方式定义Delta收入（或TPA），只是我们计算的是收入（或TPA）的增量提升，而不是利润率。

Delta CV的概念与客户终身价值（CLV）非常不同，后者估算的是客户在与PayPal关系的整个过程中产生的总利润。Delta CV让我们能够全面了解新采用如何影响现有PayPal用户的参与度和价值。

采用新产品或完成某项行为可以通过以下几种方式增加客户价值：

产品本身可能是产生利润的（直接效应）。例如，在商家在线网站结账时使用PayPal支付，会为PayPal带来直接利润。
行为不一定直接带来利润，但它们促进了其他产生利润的产品的使用（光环效应）。例如，客户将信用卡添加到PayPal的数字钱包中可以减少未来的摩擦，或者在未来使用PayPal支付时提高该用户的转化率。
采用产品可以增加用户与PayPal的互动，导致采用或增加使用其他产生利润的产品（光环效应）。通过Delta CV，我们衡量的是考虑用户所有PayPal交易的客户价值的累积提升。

如今，我们在多个地区为40多种产品（或行为）估算Delta CV。拥有不同产品的Delta CV有助于我们在多个领域开展工作，例如战略决策、计算活动的投资回报率（ROI）、新活动工作的机会规模、应用程序内产品排名和放置、在资源分配之间进行权衡、制定产品发布的推广决策等等。

方法论

我们使用因果推断和合成控制法来测量Delta CV。对于每个产品，我们的处理组是每个季度首次采用该产品的用户。为了创建一个合成控制组，我们关注的是从未采用过目标产品的用户。然后，我们根据在采用前12个月内计算的一组交易特征，在控制组中为处理用户寻找匹配项。由于我们正在构建一个合成控制组，并且我们的目标变量是CV，我们应该始终在前期对CV进行匹配。我们其余的匹配特征是CV的重要协变量。它们捕捉了用户特征，并且是我们预测用户CV对外部和内部变化响应的最佳预测因子。

合成控制组充当反事实，这意味着我们假设在没有干预的情况下，控制组和处理组会随着时间的推移发生类似的变化。因此，如果我们向处理组引入变更而不向控制组引入变更，则两组之间利润率的差异衡量了干预的影响。

我们通过使用KNN（K最近邻）算法对我们的特征组进行匹配来选择合成控制组。处理组中的每个用户都将有一个合成控制，该控制是来自控制组的最多10个用户的平均值。我们为处理单元和控制单元之间的欧几里得距离定义了一个阈值，并且我们会移除超过此阈值的匹配项，以确保高质量的匹配。合成控制组选择的有效性可以通过偏倚分析来检查。

Delta CV的解释与注意事项

采用新产品或完成某项行为所带来的增量提升可能是一个高度偏斜的指标。一些用户在采用新产品后可能比其他用户带来显著更多的价值。中位数Delta CV更符合典型用户的预期增量CV，而平均Delta CV则反映了按每个用户平均计算的大规模预期财务提升。

Delta CV估算存在方差和偏差。在基于模型输出做出权衡决策时，考虑估算的准确性非常重要。

Delta CV模型估算的是采用行为的历史影响，因此总是存在滞后性。我们通常衡量采用后12个月的影响，因此我们的估算与发生采用的季度之间会有12个月的滞后。有时我们使用Delta CV来理解过去的行为，有时我们将其作为对未来发生情况的最佳估算。我们可以将测量期从12个月缩短到三个月以进行快速读取，但我们知道早期的提升可能会因用户的新鲜感或即时用例而产生偏差，并且处理组和控制组之间的CV差距会随着时间的推移而缩小。

在理想的因果推断场景中，处理组接受干预或改变，而控制组则不接受。然而，在我们的设置中，处理组和控制组都可能在后期采用其他产品。很容易假设处理组和控制组中的其他采用是随机发生的，并且它们的影响相互抵消。然而，我们的数据显示，在处理组中存在链式采用现象，即某些产品在处理组中比在控制组中更频繁地一起被采用。并非处理组或控制组中的每个用户都采用多个产品，但某些产品采用在处理组中更为普遍。因此，Delta CV衡量的是产品采用以及在同一季度内大规模频繁发生的先前和后续采用的累积效应。请注意，排除在采用期间或后期采用其他产品的用户会导致非常特殊、不寻常的处理组和控制组，这些用户在12个月内不采用任何产品或完成任何操作，不能代表我们的用户群。我们没有兴趣将Delta CV估算范围限制在这些特定用户上。

Delta CV不是一个可加性指标，这意味着在同一时期采用两种产品的总Delta CV并不等于两者Delta CV的总和。如前所述，Delta CV并非一个完美的指标；它还捕获了部分处理用户在同一时期因其他频繁产品采用所带来的提升。但更重要的是，用户参与度并不会随着每个新产品的采用而线性增加；因此，Delta CV不能被视为可加性指标。

有时我们无法为处理找到高质量的匹配项。对于我们的某些产品，“从未采用该产品"的控制条件限制性很强，尤其是在我们拥有许多高参与度用户的市场中。这导致合成控制组规模小且匹配质量低。当处理组和合成控制组在前期CV的平均差异大于1美元时，我们会标记Delta CV的可靠性。这是与每个产品的Delta CV一起提供的重要信息。

结束语

PayPal产品正在快速发展，以为客户提供最佳价值和体验。虽然结账是PayPal的第一个产品，但我们现在在PayPal应用程序内提供种类繁多的金融产品，包括点对点支付、借记卡、信用卡、带有返现的奖励购物体验等等。Delta CV一直是PayPal战略决策中不可或缺的一部分。将新产品添加到Delta CV的范围，以及持续调整匹配方法，是一项持续的努力。通过改进匹配特征的选择来减少估算偏差是另一个需要改进的领域。