机器学习如何助力直播平台内容审核

与现实社区类似，在线聚集场所的友好程度也存在很大差异。加州大学欧文分校信息学博士生阿曼达·卡伦对如何在虚拟空间中培养真正包容的社区深感兴趣。

“我的论文和过去几年的研究都是关于审视游戏中的多样性和包容性问题，“她说。

这一兴趣将卡伦带到了某直播平台的实习岗位。她与社区健康团队以及科学与分析经理桑杰·凯拉姆合作，好奇自己的工作如何在学术界之外产生影响。

“我想浅尝辄止，看看在行业方面做研究人员是什么感觉，“卡伦说。“我与桑杰配对，并得到了这个关于思考平台审核员的非常棒的项目。”

从研究到现实影响

频道审核员最初并不是她的明显关注点。卡伦来到该平台时，她的论文研究的是女性在该平台上作为专业玩家和主播的经历，以及直播对她们而言的挑战和机会可能有何不同。

但凯拉姆认为，该平台的社区审核员是"让整个服务运作的特殊酱料”。他还怀疑公司对于可能有益于审核员的支持类型存在知识空白。

当卡伦与凯拉姆讨论她的研究实习重点时，她意识到社区审核员在培养友好在线空间方面的工作一直是其论文中的一个盲点，并且通过更好地理解他们的需求以及如何支持他们，她可以推动博士研究的总体目标。她认识到这个机会，并修改了在该平台的研究项目，以调查和评估审核员的需求。

卡伦从基础开始：审核员如何担任这一角色，以及主播如何找到他们（每个直播频道都有机会选择自己的审核员）。然后她深入研究了他们如何与频道创作者合作，如何帮助制定频道内的行为规范和标准，以及如何积极引导社区围绕这些理念。

卡伦还对审核员想要或需要什么工具，以及他们如何应对频道内的积极和消极行为感兴趣。

“这让我们思考可以创建哪些新资源来帮助审核员思考他们的角色，并感受到更强的社区感——不仅是在他们自己的频道内，而且在整个平台范围内，“卡伦说。

研究成果的实际应用

卡伦的研究成果在该平台得到了直接应用：“阿曼达的工作非常详细地揭示了审核员的需求，这推动我们为审核员构建更好的工具，“凯拉姆说。

这种支持可能对审核员产生了一些非常积极的连锁效应。“阿曼达的工作帮助厘清了很多问题，即审核员在一个频道内扮演着不同的角色。这确实让团队开始思考如何针对审核员扮演的不同角色类型微调体验——以便他们能在每个角色中更有效地工作，“凯拉姆说。

卡伦很享受观察其研究的影响。“完成实习后，我看到了变化的发生，并看到了关于新资源或产品发布的公告，心想’不知道我对此有多大影响？‘我期待看到这种影响持续下去，“她说。

平台作为科学实习目的地

虽然该平台可能看起来不像是明显的科学实习目的地，但该服务实际上提供了各种潜在的科学和工程实习机会。

例如，卡伦的研究在识别和理解可以通过机器学习解决的审核员需求方面被证明很重要。“我们有一个名为AutoMod的机器学习驱动工具供审核员使用，“凯拉姆指出，“它可以自动标记可能有害的消息，并将其保留给频道审核员审查。社区健康还有一个名为主动检测的机器学习小组，负责设计模型以识别和防止平台上各种类型的不良行为。”

凯拉姆还指出，该平台正在积极招募各种学科的科学实习生。

“很多时候，当学生考虑到科技公司实习时，他们特别考虑的是技术项目、技术角色，“凯拉姆说。当然，对于那些有兴趣推动机器学习技术发展的人来说，有很多技术机会：例如，通过生成实时内容推荐，或构建自然语言处理模型来检测有害聊天消息。但凯拉姆表示，对于各种学科的理科实习生来说，也有很大的空间，包括在专注于创作者和观众安全与支持的社区健康团队中。

“将社会科学研究人员引入产品讨论中有很大价值，他们能够思考复杂问题并开发出新的思考方式，“他说。

从新的角度看待问题是有力的，并使凯拉姆的团队能够"引入一个新的心智模型或框架，这种框架某种程度上转变了视角，使我们能够根据以前可能无法依据的信息采取行动，“他补充道。

社区健康研究机会

在社区健康领域还有更多研究可做，包括如何在实时环境中主动检测不良行为，或理解该平台大规模聊天中的聊天行为。“应对这些挑战需要广泛的视角，从理解健康社区如何形成和运作，到构建聊天和频道安全性的定量模型，再到开发能够主动检测和移除有害内容的机器学习模型，“凯拉姆说。

“该平台的性质和规模本身使得许多问题和许多不同的研究领域变得超级前沿，“他指出。这项研究的实际应用可以直接影响全球数百万人的安全（和乐趣），这对于像卡伦这样希望自己的工作能帮助他人的学术研究人员来说很有价值。

卡伦会向其他博士生推荐这个实习吗？“绝对要试试，“她说。“这次实习让我对自己在行业背景下进行科学研究的能力更有信心。”

无论疫情对办公室工作环境的影响持续多久，都有大量的支持。虽然卡伦的实习最初应该在该平台旧金山总部进行，但她留在了加州大学欧文分校。尽管卡伦没有与人面对面见面，但凯拉姆确保促进与团队其他部分的联系。

“他认识到，如果我对行业就业感兴趣，我会想交朋友并结识公司各个不同领域的人，“她说。

卡伦说，这有助于使这段经历变得极其有意义。“即使从第一天起，这对我来说也是一段真正伟大而宝贵的时光。”

对该平台实习机会感兴趣的博士候选人和其他人可以在平台上找到机会并申请。