负责任AI实践中的三大关键挑战

当我们三年前加入某中心AI/ML团队时，已经在负责任AI领域进行了一段时间的科学研究。我们撰写过多篇论文，提出了公平性的数学定义和执行这些定义的机器学习训练算法，以及确保训练模型强隐私保护的方法。我们精通可解释性和鲁棒性等相关主题，并且是新兴负责任AI研究社区的常驻成员。

数据模态的重要性

我们最早获得的重要实践教训可以概括为"数据模态很重要"。这意味着AI服务运行的特定媒介（如视觉图像或口头、书面语言）在我们从性能和负责任AI角度分析和理解它时极为重要。

考虑训练模型需要"公平"或没有显著人口统计偏见的愿望。许多关于机器学习公平性的科学文献假设，用于比较不同群体性能的特征（可能包括性别、种族、年龄和其他属性）在训练和测试数据集中容易获得，或者可以准确估计。

如果确实如此（就像某些类似电子表格的"表格"数据集记录医疗或财务记录那样，其中个人的年龄和性别可能是明确的列），我们可以更容易地测试训练模型的偏见。但在许多云AI/ML服务中，数据根本不包含明确的人口统计信息。

我们的语音识别和转录服务等应用程序将捕捉语音发声的频率时间序列作为输入。因此，数据中没有性别、种族或年龄等内容的直接注释。

但从语音数据中可以更容易检测到的是地区方言和口音——仅北美英语就有几十种。英语语音也可能具有非母语口音，受说话者第一语言的影响比他们当前居住地区更大。考虑到第一语言的数量众多和说话者的国际流动性，这呈现出更加多样化的格局。

负责任AI从业者面对如此多不同的口音和其他变动因素，在语音转录这样复杂的任务中该怎么办？在某中心的答案是按照任务和数据本身的术语来应对，这涉及一些繁重的工作：精心收集来自具有不同口音的代表性说话者大群体的样本，并仔细转录每个单词。

“最后一英里"这个供应链短语指的是"上游"商品和产品提供商对直接连接到最终用户或消费者的"下游"供应商可能控制有限。像某中心这样的云提供商的出现创造了具有自身最后一英里挑战的AI服务供应链。

某中心AI/ML为企业客户提供语音转录等服务的API访问，因为许多客户希望将这些服务集成到自己的工作流程中，但没有资源、专业知识或兴趣从头开始构建它们。这些企业客户位于像某中心这样的云提供商的通用服务和技术的最终用户之间。

不仅是云客户的最后一英里可能出现与训练和测试期间条件不同的情况。我们生活在一个可以称为AI活动主义的（健康）时代，不仅企业，包括科学家、记者和非营利组织成员在内的个人公民都可以获得ML服务和模型的API或开源访问权限，并在自己策划的数据集上进行自己的评估。

迄今为止，AI开发者和活动家之间的动态有些对抗性：活动家设计并进行对已部署AI模型的私人实验评估，并在开放论坛上报告他们的发现，开发者则留下来评估这些声明并对技术进行任何必要的改进。

在过去的几年里，bug赏金背后的想法和动机已被AI开发社区采用和调整，形成了"偏见赏金"的形式。参与者不是寻找传统软件中的漏洞，而是被邀请帮助识别训练过的ML模型和系统中的人口统计或其他偏见。

我们认为这些最近的发展——AI开发者向比企业客户更广泛的利益相关者社区开放他们的技术及其评估，以及这些利益相关者以技术和非技术方式积极识别必要改进——是健康和有机的，是复杂且不断发展的AI行业的自然结果。

负责任AI既不是一个可以一劳永逸"解决"的问题，也不是一个可以孤立在从开发者到客户再到最终用户和整个社会的管道中单个位置的问题。开发者当然是必须建立和实施最佳实践并捍卫负责任AI原则的第一线。但AI行业长期成功的关键在于所有受影响者之间的社区、沟通和合作。