PayPal声明式特征工程实践

PayPal为全球超过4亿活跃消费者和商户提供服务。每分钟都会发生数千笔支付交易。为了在此规模下实时防范欺诈，我们需要优化机器学习工作流和特征工程流程，以构建强大的行为预测器和风险指标。此外，这一切必须在可预测的上市时间（TTM）和可持续的总体拥有成本（TCO）下完成。

什么是声明式特征工程？

虽然声明式特征工程这一术语最早由AirBnB的Zipline在2019年提出，但PayPal在过去十年中已成功应用这一范式，尽管我们称之为基于配置的特征工程。其核心思想是让数据科学家声明其特征的外观，而不是明确指定如何在不同执行平台上构建它们。通过这种方式，特征构建和执行的关注点从科学家那里抽象出来，使工程师能够专注于这些复杂性。

本文是两篇系列文章中的第一篇，将概述声明式特征工程方法如何帮助我们的工程师满足规模、TTM和TCO要求。

衡量成功的指标定义

机器学习特征的TTM

机器学习特征的上市时间是指从特征概念提出到其发布到生产环境的时间长度。可预测的TTM对于整体AI成熟度和业务优先的AI战略至关重要。

机器学习特征的成本

为了评估和估算TCO，我们将特征成本分解如下：

特征成本分析的主要见解是，我们必须尽可能在团队间重用现有特征。否则，我们将在每个方面支付双倍费用。

应对挑战：特征复杂度分层

为了应对上述挑战，我们将特征分为三个复杂度级别，以便在每个级别定义针对规模、TTM和TCO的定制策略。

简单特征

简单特征占据了特征的大部分，例如汇总聚合（求和、计数、平均值）和分类特征（婚姻状况）。例如：

优势包括更易于：

• 检测相似的声明式特征并自动推荐数据科学家重用现有特征，以获得更好的TTM和TCO
• 定制 - 例如，更改聚合函数或聚合时间窗口
• 估算特征的预先成本并在投入生产前评估投资回报率
• 由于标准化实施而更容易维护

基于代码的特征

对于更复杂的分析，我们计划并行开发以减少数据科学家和软件工程师之间的迭代次数。然而，以下方面更具挑战性：

• 强制执行标准和最佳实践
• 解释和定制以将这些特征重用于其他用例
• 为模型训练回填历史数据
• 在生产中维护这些特征

特征生成的分析平台

对于最先进的特征生成，我们开发了客户图谱、自然语言处理和异常检测分析平台。

然而，由于这些平台的高度复杂性，它们是最难定制和维护的。

声明式特征工程的自助服务工具

简单特征非常适合声明式特征工程范式。数据科学家可以声明其特征的外观，而不是明确指定如何在不同的执行平台上构建它们：批处理/近实时或实时，这些都是行业标准的计算平台。

我们为数据科学家提供UI和API，以声明式方式指定逻辑，模拟特征并实现产品化，而无需工程师的直接支持。通过减少时间线依赖，这大大减少了项目规划开销，从而提高了TTM。

在后台，系统负责：

• 生成和优化所有底层数据管道以减少TCO
• 在特征实施中强制执行时间旅行风格，以便可以为历史数据的任何时间点计算特征
• 将特征注册到特征存储库，供其他数据科学家重用
• 跟踪TTM指标并识别改进的潜在领域
• 强制执行工程标准和最佳实践，以便于支持和维护

结论

声明式特征工程范式已被证明在简单特征的大规模开发中非常有效，具有可预测的上市时间和可持续的总体拥有成本。我们将重点放在声明式特征的自助服务和自动化上，这使我们能够释放工程师宝贵的时间，专注于最先进的下一代AI项目。

在本文中，我们概述了我们解决方案的功能，在后续文章中，我们将深入探讨技术细节。敬请关注！