预测在识别最弱势群体中的价值:专访Unai Fischer Abaigar
在今年的国际机器学习大会(ICML2025)上,Unai Fischer-Abaigar、Christoph Kern和Juan Carlos Perdomo因其论文《预测在识别最弱势群体中的价值》获得了杰出论文奖。我们采访了Unai,了解该论文的主要贡献、预测系统为何值得研究以及他们在此领域的后续工作计划。
研究主题及其意义
我的研究专注于公共机构使用预测系统做出关于人们的高风险决策。一个核心例子是资源分配,机构面临能力有限的问题,必须决定优先处理哪些案例。比如就业办公室决定哪些求职者最有可能面临长期失业风险,医院对患者进行分诊,或欺诈调查人员识别最值得调查的案件。
越来越多的机构采用AI工具来支持其运营,但这些工具的实际下游价值并不总是明确。从学术角度来看,这一差距指引我们研究算法决策系统的一个迷人方面,因为它推动我们超越预测算法本身。我们需要研究这些系统如何设计、部署并嵌入更广泛的决策过程。在我们的工作中,我们提出:从关心下游福利的社会规划者角度来看,这些预测系统何时真正值得?有时,与其投资提高预测准确性,机构通过扩展能力(例如雇佣更多个案工作者并处理更多案件)可能会获得更大收益。
主要贡献
从高层次来看,我们表明预测准确性的改进在极端情况下最有价值:
- 当几乎没有预测信号开始时,或
- 当系统已经接近完美时。
但在广阔的中间地带,机构有一些预测信号但远非完美准确性时,投资能力改进往往对下游效用产生更大影响,特别是当机构资源非常有限时。换句话说,如果机构面临严格的资源约束,完美匹配资源到最紧急案例可能不那么重要,而扩展其能提供的帮助量更为重要。我们通过使用程式化线性设置的简单理论模型发现了这些结果,然后使用真实政府数据进行了实证验证。
框架概述
我们利用了合著者在先前工作中引入的预测-访问比率。该比率比较了能力小幅改进与预测质量小幅改进带来的福利增益。直觉是机构很少从头重建系统。他们经常考虑在有限预算下进行边际改进。如果该比率远大于1,那么额外单位的能力比额外单位的预测准确性更有价值,反之亦然。我们通过分析边际变化如何影响编码风险个体下游福利的价值函数来操作化这一想法。
失业持续时间:红线标记了德国用于将求职经历分类为长期失业的12个月阈值。
德国长期失业案例研究
在论文中,详细介绍了识别德国长期失业的案例研究。案例研究中的主要发现是什么?
让我们印象深刻的是,理论见解在实证数据中也成立,尽管现实世界设置并不匹配理论的所有简化假设(例如,分布在现实世界设置中经常发生变化)。事实上,案例研究表明,能力改进占主导地位的情况在实践中往往更大,特别是在考虑非局部改进时。
进一步工作计划
我认为这是一个非常有前景的研究方向:我们如何设计在社会敏感领域中支持良好资源分配的算法?展望未来,我想进一步形式化“良好分配”在实践中的含义,并继续与机构合作,将工作基于他们的实际挑战。还有许多重要的实际问题:例如,我们如何确保算法补充而不是约束个案工作者的裁量权和专业知识?更广泛地说,我们需要仔细思考机构流程的哪些部分可以抽象为算法系统,以及人类判断在哪些地方仍然重要。
关于Unai
Unai Fischer Abaigar是慕尼黑大学统计学博士生,也是社会数据科学与AI实验室成员,受到某可靠AI卓越学院和某机器学习中心的支持。2024年,他是某大学工程与应用科学学院的访问学者。他拥有海德堡大学物理学学士和硕士学位,此前在柏林某数据科学实验室工作。