某中心与NSF合作推动AI公平性研究

一年前，某中心与国家科学基金会（NSF）宣布了一项为期三年、总额2000万美元的合作项目，用于资助AI公平性领域的学术研究。近期，NSF计算机与信息科学工程部副主任Erwin Gianchandani讨论了首批10个受资助团队的研究工作。Alexa AI自然理解副总裁Prem Natarajan作为该项目发起人，就新一轮研究提案、AI伙伴关系组织的工作以及自然语言处理模型中的偏见应对措施进行了深入探讨。

新一轮研究提案的期待

2020年与NSF合作的AI公平性项目已启动新一轮资助周期，完整提案提交截止日期为7月13日。该项目旨在促进AI公平性领域的学术研究，通过与学术界合作获取多元化的观点。首轮入选团队的研究主题涵盖从AI公平性开发与认证的原则框架，到针对特定领域（如寄养服务公平推荐系统）的应用。

希望第二轮提案能在首轮成功基础上，进一步扩大对公平性定义和认知的多样性视角。缺乏多样性将使AI公平性研究领域陷入自我否定的困境。同时期待本轮及未来各轮项目能够推动开源成果组合（包括数据集、指标、工具和测试方法）的创建，供所有AI利益相关者使用。这些易于获取的成果将促进社区相互学习、推动研究成果复现，并最终加速技术进步。

在AI伙伴关系组织（PAI）的工作

作为某中心在PAI董事会的代表，该组织涵盖安全关键AI、公平透明AI、AI劳动力与经济、人机协作、AI社会影响等多个主题支柱。PAI目前拥有59个非营利组织、24所学术机构和18家工业组织成员。

从技术角度看，PAI正在进行的研究计划数量和质量令人振奋。例如在公平性、问责制和透明度领域，研究人员对20个组织的实践者进行访谈，并深入研究了可解释AI的当前应用情况。另一个例子是ABOUT ML项目，专注于制定和分享最佳实践，并提升公众对AI的理解。该项目超越简单的模型评分卡概念，重点关注文档编制、数据和代码产出来源以及模型开发过程的其他关键属性。

PAI还承担着独特的教育角色，作为AI技术专家与社会其他利益相关者之间的桥梁，确保技术专家适当考虑社会其他利益相关者的观点和关切。

NLP模型中的偏见挑战与应对措施

自然语言处理模型因捕捉性别和种族方面的社会偏见而受到批评。词嵌入作为现代NLP的核心特征，是通过实数向量表示单词的技术，其核心思想是将含义相似的单词映射到彼此"接近"的向量。

随着词嵌入的普及，研究人员开始研究其脆弱性和缺点。其中一个脆弱性是嵌入从上下文推导和编码含义，这意味着单词的含义很大程度上受训练数据中观察到的不同上下文控制。这会导致不良后果：例如从"医生"向量中减去"男性"向量，再加上"女性"向量，理论上应该再次得到"医生"向量或"女医生"向量，但实际结果却接近"护士"向量。这表明人类生成文本中的潜在偏见被编码到嵌入中。

偏见还可能以其他方式显现，因为任何基于数据的系统都可能表现出多数主义偏见。例如世界各地不同群体可能使用不同方言说同一种语言，但最频繁出现的方言可能仅仅因为构成训练数据的主要部分而获得最佳性能。

在方法上，通过使用原则性方法来描述偏见维度及相关影响，并开发对这些偏见因素具有鲁棒性的技术来应对偏见影响。例如语音识别系统应忽略对识别所说单词无用的信号部分，声音是男性还是女性不应影响识别结果。

某中心及其他机构科学家正在探索各种方法，如去偏见技术、对抗不变性、主动学习和选择性采样。对抗性方法在测试和生成偏见或干扰不变表示方面最具吸引力，因为其具有良好的可扩展性。