ICML:当因果遇见机器学习
某中心首席科学家Dominik Janzing在今年的国际机器学习会议(ICML)上共同完成了某机构18篇论文中的4篇,这些论文与其大多数研究一样,标题中都包含"因果"一词。
2012年由Janzing与某机构副总裁Bernhard Schölkopf合作完成的论文《论因果与反因果学习》获得ICML 2022"时间检验奖"荣誉提名。
“目前涉及因果关系的论文仍占较小比例,但正在持续增长。“Janzing表示,“从长期趋势看,这一领域明显处于上升阶段,我坚信该趋势将持续发展。预计因果关系未来将扮演比现在更重要的角色。”
机器学习研究者对因果性日益增长的兴趣源于相邻领域的相关工作。传统因果问题关注特定干预的因果效应,例如患者服用药物与否对康复的影响,同时考虑其他影响因素(协变量)。这种因果观念一直是实验设计和经济学研究的核心。
另一图形模型研究群体则致力于建模更复杂系统。包含大量变量的图形模型既可计算特定变量对另一变量的平均效应,更旨在将复杂系统分解为可理解的机制。因果发现问题——如何从被动观测中推断图形模型——仍是极具挑战性的目标。通过与机器学习建立更强联系,这一问题有望取得进展。
机器学习的介入
2010年左右,因果关系对多种机器学习问题的重要性逐渐显现,因为推断统计关系与推断生成过程之间存在本质差异。目前正在探索与因果关系相关的机器学习热点包括可解释AI、公平性以及对分布偏移具有鲁棒性的数据表示学习。
“可解释AI是否必然需要因果解释?具有语义意义的表示是否必须是因果表示?如果是,在什么意义上成立?”
虽然因果问题渗透所有这些讨论,但我们也需要更好地理解因果性的含义。有时人们将"真实因果图"视为永恒不变的绝对真理,但实际上因果关系往往具有上下文依赖性,特别是在涉及高度聚合变量的领域(如宏观经济量)。“所有模型都是错的,但有些是有用的"这句格言在因果模型讨论中尚未得到充分重视,因为图形模型的目的不一定是为特定任务提供效用,而是为了理解复杂系统的运行机制。
定义挑战
理解因果性含义不仅是哲学问题,更直接影响研究方向。在应用研究中明显存在需要定义的概念领域,例如Janzing在ICML发表的论文《基于因果结构的异常值根因分析》提出了量化不同根本原因对结果贡献程度的方法,但首先需要给出极端事件根本原因的正式定义——“这一定义在现有文献中尚未发现”。
该领域的基本概念仍需进一步定义(主要基于图形模型框架),同时哪些数学工具最适合因果分析也有待探索。目前因果机器学习研究涉及统计学、泛函分析(特别是核方法)、线性代数、香农信息论、算法信息论、傅里叶分析、群论和博弈论等多种数学工具。
“纵观因果推断中应用的数学方法,可以说没有人知道十年后因果关系研究将主要使用哪些数学工具。我认为没有哪种数学是与该领域无关的。这表明该领域仍然非常开放,远未局限于特定主题、问题类型和方法。”