消除推荐系统评估中的选择偏差
在电商平台中，超过60%的销售额来自独立卖家。Fulfillment by Amazon（FBA）作为可选项目，允许卖家将订单履行外包给某中心。FBA不仅为客户提供快速配送服务，还通过最先进的优化和机器学习模型为卖家提供库存管理建议，包括产品备货量、促销策略和过剩库存处理方案。
选择偏差的挑战
理想情况下，通过实验可以测量推荐效果：将卖家随机分为接受推荐的处理组和不接受推荐的对照组。但由于需要维护卖家体验和公平性，实际无法进行随机实验。这就产生了选择偏差——决定是否遵循推荐的卖家特性本身就会影响结果。
例如，积极主动且精通库存管理的卖家更可能遵循推荐，而他们的成功可能部分源于自身能力而非推荐本身。反之，对照组卖家可能因为已有丰富经验而选择不遵循推荐，其表现反而优于未接受推荐的处理组。
双重机器学习解决方案
采用双重机器学习（DML）方法构建因果模型：
- 倾向评分模型：基于库存管理历史和产品特征等数百个输入变量，预测卖家遵循推荐的概率
- 结果预测模型：使用相同输入变量加上卖家决策，预测卖家结果
通过计算两个模型的残差（预测值与实际值的差异），消除可观测数据已解释的变异部分。将结果模型的残差对决策模型的残差进行回归，即可估计遵循推荐对结果的因果影响。
关键评估指标
该方法可计算三类核心指标：
- 平均处理效应（ATE）：推荐对全体卖家的平均影响
- 处理组平均处理效应（ATT）：对实际遵循推荐的卖家的平均影响
- 条件平均处理效应（CATE）：按产品类别或库存水平等特征分组的特定影响
基于数据规模和表格特性，梯度提升决策树在线性回归模型的高效性和深度学习模型的高精度间取得了最佳平衡。
该方法已通过某中心卖家中心页面向卖家展示效果评估，提升了推荐透明度和采纳率。相关研究成果已在INFORMS 2024会议上进行汇报，并即将发表于《TutORials in Operations Research》期刊。