AI与权力：自动化、集权与规模化的伦理挑战

随着ChatGPT4、Bard和Bing Chat等新一代大型语言模型的发布，原本对AI伦理不感兴趣的朋友也开始向我提问。这些模型不仅登上头条，更引发了广泛辩论。要理解新型AI应用的风险，首先需要掌握几个核心概念。通过多年研究算法系统致害机制，我于2021年底就AI伦理的核心议题进行了20分钟演讲——这些概念在当今语言模型时代显得尤为重要。

过去十年间，可解释性（让计算机解释输出结果的逻辑）和公平性/偏见（解决算法在不同群体间准确率差异）等议题在AI领域和媒体中获得较多关注。部分计算机科学家和记者止步于此，认为能解释决策逻辑的程序或在浅肤色男性与深肤色女性间准确率相同的程序就符合伦理。虽然这些原则重要，但仅靠它们不足以应对或预防AI系统带来的危害。

可操作性追索

单纯的可解释性并不足够。以贷款审批算法为例，用户真正关心的不是“为何被拒贷”，而是“如何改变现状才能获得贷款”。解释必须具有可操作性——例如以种族为由拒贷属歧视性行为，无法构成合理解释。影响人们生活的决策还需要追索机制来修正决定，即伯克·乌斯滕提出的“可操作性追索”。

这种需求在多个领域反复出现。美国某州使用算法确定贫困人群医疗福利时，因代码错误导致脑瘫患者福利被错误削减。塔米·多布斯等人失去协助起床、早餐等基本生活护理服务后，不仅需要解释，更需要改变决策的追索机制。最终错误通过漫长诉讼才得以揭露，这种机制设计显然存在严重缺陷。

自动化系统常在没有错误识别和修正机制的情况下实施。人权观察关于欧盟社会福利系统自动化的报告显示，多国存在错误案例且缺乏处理机制。法国某食品福利算法在至少6万起案例中出现错误，甚至有案例管理员承认系统缺陷却无权恢复福利。

内容审核领域同样如此。圣克拉拉内容审核原则第三条要求企业提供“及时且有意义的申诉机会”——这一理念远超内容审核范畴。现实中，错误报告往往只能得到未阅读的自动回复或数月等待，确保申诉机制的有效性和及时性至关重要。

可争议性

可争议性要求将质疑和反对结果的机制内置到算法系统中，而非事后补充。在某机构的工作中，我们提出“增强机器学习”概念，区别于端到端自动化的“自动机器学习”。重点在于思考人类擅长领域，利用人类优势而非盲目自动化，探索人机协作的最佳模式。

公平与偏见

虽然公平性和偏见问题需要关注，但仅此不够。“性别色彩”研究显示，某中心、某机构和某中心的面部识别产品对女性准确率低于男性，对深肤色人群准确率低于浅肤色人群，其中深肤色女性准确率最低仅65%。有人肤浅地认为只需增加深肤色女性训练数据即可解决，但问题远不止于此。

更值得关注的是技术使用方式带来的危害。美国多市警方使用面部识别技术识别抗议警察种族主义的黑人群体——无论技术是否有效，这种应用本身已构成权力滥用。误捕固然可怕，但准确识别抗议者同样威胁公民权利。蒂姆尼特·格布鲁博士指出：“人们常讨论跨群体性能均衡的偏见，却忽视任务是否该存在、创建者身份、部署对象、数据所有权和使用方式等根本问题。”

尽管 policing 案例来自美国，但这是历史与世界范围内的普遍模式。阿尔瓦罗·贝多亚教授写道：“监视被用于针对‘低等群体’——穷人、有色人种、移民、异教徒——这是历史常态，旨在阻止边缘群体获取权力。”监视作为对抗边缘群体的武器已有数百年历史，而AI技术加剧了这种动态。

规模化运作的危害

澳大利亚“Robodebt”项目通过自动化系统为数十万人制造非法债务。政府通知福利金超额发放（常属错误认定，但申诉需提供多数人没有的文件），要求偿还巨额资金。此举摧毁无数生活，甚至导致受害者自杀。自动化使债务发放量从每年2万例激增至每周2万例，规模扩大50倍——机器学习被用于大规模使穷人陷入债务。

权力集中

机器学习常导致权力集中。如前所述，医疗福利系统错误削减案例缺乏追索机制；“Robodebt”显示自动化可低成本大规模应用；同时还能大规模复制相同偏见或错误。

有人指出人类决策也会犯错和存在偏见，但自动化系统存在关键差异：从人类决策转向自动化决策并非即插即用的简单替换。自动化系统还可用于逃避责任——某医疗算法创建者通过私营公司赚取版税，却称解释责任不在公司，将错误归咎于政策制定者，而政策制定者又可指责具体实施人员。无人担责的系统无法产生良好结果。

反馈循环

当预测结果本身影响数据时，就会产生反馈循环。机器学习模型不仅编码偏见，更会放大偏见。多篇论文表明，基于偏见数据训练的模型可能比训练数据本身更具偏见。

总之，这些因素导致机器学习最终集中权力，且自动化系统与人类决策者存在本质差异。AI研究者普拉提乌沙·卡卢里建议，不应问“AI应用是否公平”，而应问“它如何转移权力”。

受影响群体

医疗案例中，福利被错误削减的人群立即发现问题，却无法使错误得到承认或解决。另一个悲剧案例是某社交平台在缅甸种族灭绝中的作用。2018年联合国认定该平台扮演“决定性角色”，但这对关注事件者并非意外。缅甸科技企业家表示：“这并非事后诸葛亮，问题规模自2013年起已显而易见。”

种族灭绝不会突然发生，而是逐步升级。2013年起就有人警告该平台在缅甸被用于煽动暴力和妖魔化少数民族，但2013-2015年间的警告未被重视。2015年初该平台仅有两名缅语合同工，全年只增聘两人——与缅甸用户规模相比微乎其微（对比其在德国迅速雇佣超千名内容审核员避免罚款的情况）。

反复出现的模式是：系统最大受影响者最早识别问题，却无人倾听且缺乏有效预警途径。他们最理解解决伦理风险所需的干预措施，确保受影响群体拥有参与和赋权渠道至关重要。

实用资源

ICML 2020的“参与式机器学习研讨会”极具价值。组织者强调系统设计者比受影响个体拥有更大权力，即使算法公平或人本ML领域，伦理工作也常聚焦集中化方案，反而增加系统创建者权力。研讨会呼吁更民主、合作和参与式的方法。

圣克拉拉大学马库拉应用伦理中心提供在线伦理与技术实践资源包，其“科技伦理工具包”包含可组织内实施的实践方法。例如工具3“扩大伦理圈”：定期梳理系统直接影响者与重大间接影响者，审视哪些技能、经验和价值被假设而非实际咨询。

华盛顿大学科技政策实验室的“多元声音指南”提供实用指导，帮助组建未被充分代表群体的咨询小组，包括曾有监禁经历者、非驾驶者和极端低收入人群等案例。

数据非砖石，乃待关怀之人

总之，可解释性不足，需要可操作性追索和可争议性；公平性不足，需要正义。系统最大受影响者需要参与和赋权渠道。虽然问题复杂，但可采取以下步骤：

建立快速识别、报告和纠正错误的机制
提供及时有效的申诉渠道
咨询常被忽视的声音（非象征性）
设计产品流程和技术时考虑可争议性
确保招聘、留任和晋升的多样性（含国籍和语言）

如AI研究者伊尼奥卢瓦·德博拉·拉吉所言：“数据非待堆砌的砖石、待钻探的石油、待开采的黄金、待收割的机遇。数据乃待关注、关爱和呵护之人。”

演讲视频版本可在此处获取。

AI伦理挑战：自动化、集权与规模化

本文探讨AI系统在自动化决策、权力集中和规模化应用中引发的伦理挑战，包括可解释性局限、可操作性追索机制缺失、算法偏见放大等问题，并提出参与式设计和技术民主化的解决方案。