设计安全，节选 – A List Apart

设计安全
作者：Eva PenzeyMoog | 2021年8月26日
发布于：流程、可用性、用户体验、用户研究

反种族主义经济学家Kim Crayton曾说：“没有策略的意图就是混乱。”我们已经讨论过，对边缘化和弱势群体的偏见、假设和忽视如何导致危险和不道德的科技——但是，具体来说，我们需要做些什么来修复这个问题？让我们的科技更安全的意图是不够的；我们需要一个策略。

本章将为您提供这个行动计划。它涵盖了如何将安全原则融入您的设计工作，以创建安全的科技，如何说服利益相关者这项工作是必要的，以及如何回应“我们真正需要的是更多多样性”的批评。（剧透：我们确实需要多样性，但仅靠多样性并不是修复不道德、不安全科技的解毒剂。）

包容性安全流程#section2

当您为安全设计时，您的目标是：

• 识别产品可能被用于滥用的方式
• 设计防止滥用的方法
• 为弱势用户提供支持，以重新获得权力和控制

包容性安全流程是一个帮助您实现这些目标的工具（图5.1）。这是我在2018年创建的方法论，旨在捕捉我在设计产品时考虑安全所使用的各种技术。无论您是创建全新产品还是为现有功能添加内容，该流程都可以帮助您使产品安全且包容。该流程包括五个一般行动领域：

• 进行研究
• 创建原型
• 头脑风暴问题
• 设计解决方案
• 安全测试

图5.1：包容性安全流程的每个方面都可以在最适合您的地方融入您的设计过程。给出的时间是估算值，以帮助您将各个阶段纳入设计计划。

该流程旨在灵活——在某些情况下，团队实施每一步可能没有意义。使用与您独特工作和背景相关的部分；这旨在成为您可以插入现有设计实践的内容。

一旦您使用它，如果您有改进的想法，或者只是想提供它如何帮助您的团队的背景，请与我联系。这是一个活文档，我希望它能继续成为技术人员在日常工作中可以使用的一个有用且现实的工具。

如果您正在为特定弱势群体或某种创伤的幸存者开发产品，例如为家庭暴力、性侵犯或药物成瘾的幸存者开发应用程序，请务必阅读第7章，该章节明确涵盖了这种情况，并且应该以略有不同的方式处理。这里的指南是在设计具有广泛用户基础（从统计数据中我们已经知道，这将包括某些应受保护免受伤害的群体）的更通用产品时优先考虑安全性的指南。第7章专注于专门为弱势群体和经历过创伤的人设计的产品。

步骤1：进行研究#section3

设计研究应包括对您的科技可能被武器化用于滥用的广泛分析，以及对那种滥用幸存者和施害者经历的具体洞察。在这个阶段，您和您的团队将调查人际伤害和滥用问题，并探索可能对您的产品或服务构成担忧的任何其他安全、安保或包容性问题，如数据安全、种族主义算法和骚扰。

广泛研究#section4

您的项目应从对类似产品以及已报告的安全和道德问题的广泛、一般研究开始。例如，构建智能家居设备的团队最好了解现有智能家居设备被用作滥用工具的多种方式。如果您的产品涉及人工智能，请寻求理解现有人工智能产品中已报告的种族主义和其他问题的可能性。几乎所有类型的科技都有某种潜在或实际的危害，这些已在新闻中报道或由学者撰写。Google Scholar是找到这些研究的有用工具。

具体研究：幸存者#section5

在可能和适当的情况下，包括与您已发现的伤害形式的专家进行直接研究（调查和访谈）。理想情况下，您会希望首先采访在您研究领域工作的倡导者，以便您对该主题有更扎实的理解，并更好地装备以避免对幸存者造成二次创伤。例如，如果您发现了可能的家庭暴力问题，您希望与之交谈的专家是幸存者本人，以及家庭暴力热线、庇护所、其他相关非营利组织和律师的工作人员。

特别是在采访任何类型的创伤幸存者时，为他们的知识和生活经验付费非常重要。不要要求幸存者免费分享他们的创伤，因为这是剥削性的。虽然一些幸存者可能不希望得到报酬，但您应始终在初次请求时提出报价。支付的替代方案是向致力于对抗受访者所经历暴力类型的组织捐款。我们将在第6章中更多讨论如何适当地采访幸存者。

具体研究：施害者#section6

旨在为安全设计的团队不太可能能够采访自称施害者或违反黑客等法律的人。不要将此设为目标；相反，尝试在您的一般研究中探讨这个角度。旨在理解施害者或恶意行为者如何将科技武器化以对抗他人，他们如何掩盖踪迹，以及如何解释或合理化滥用。

步骤2：创建原型#section7

完成研究后，使用您的洞察创建施害者和幸存者原型。原型不是人物角色，因为它们不是基于您采访和调查的真实人物。相反，它们基于您对可能安全问题的研究，就像我们为可访问性设计时：我们不需要在访谈池中找到一群盲人或低视力用户来创建包容他们的设计。相反，我们基于对该群体需求的现有研究来设计这些设计。人物角色通常代表真实用户并包含许多细节，而原型更广泛且可以更通用。

施害者原型是将产品视为实施伤害工具的人（图5.2）。他们可能试图通过监视或匿名骚扰伤害他们不认识的人，或者他们可能试图控制、监视、滥用或折磨他们 personally 认识的人。

图5.2：Harry Oleson，一个健身产品的施害者原型，正在寻找通过她使用的健身应用程序跟踪他前女友的方法。

幸存者原型是正在通过产品遭受滥用的人。在原型对滥用的理解以及如何结束滥用方面，有各种情况需要考虑：他们是否需要他们已经怀疑正在发生的滥用的证据，或者他们最初不知道自己已成为目标需要被警示（图5.3）？

图5.3：幸存者原型Lisa Zwaan怀疑她的丈夫正在将他们家中的物联网设备武器化对抗她，但面对他坚持说她只是不理解如何使用产品的情况下，她不确定。她需要某种滥用的证据。

您可能希望制作多个幸存者原型以捕捉一系列不同的经历。他们可能知道滥用正在发生但无法阻止它，例如当施害者将他们锁在物联网设备外时；或者他们知道它正在发生但不知道如何发生，例如当跟踪者不断找出他们的位置时（图5.4）。在您的幸存者原型中包括尽可能多的这些场景。您将在以后设计解决方案时使用这些来帮助您的幸存者原型实现防止和结束滥用的目标。

图5.4：幸存者原型Eric Mitchell知道他被前男友Rob跟踪，但无法弄清楚Rob是如何得知他的位置信息的。

为您原型创建类似人物角色的工件可能对您有用，例如所示的三个示例。不要专注于我们常在人物角色中看到的人口统计信息，而是专注于他们的目标。施害者的目标将是执行您已识别的特定滥用，而幸存者的目标将是防止滥用、理解滥用正在发生、使持续滥用停止，或重新获得对被用于滥用的技术的控制。稍后，您将头脑风暴如何防止施害者的目标并协助幸存者的目标。

虽然“施害者/幸存者”模型适合大多数情况，但它并不适合所有情况，因此请根据需要修改它。例如，如果您发现安全问题，例如有人能够入侵家庭摄像头系统并与儿童交谈，恶意黑客将获得施害者原型，而儿童的父母将获得幸存者原型。

步骤3：头脑风暴问题#section8

创建原型后，头脑风暴新的滥用案例和安全问题。“新”意味着您的研究中未发现的内容；您试图识别对您的产品或服务独特的全新安全问题。此步骤的目标是竭尽全力识别您的产品可能造成的危害。您还不担心如何防止危害——这将在下一步中到来。

您的产品如何被用于任何类型的滥用，超出您已在研究中识别的内容？我建议与您的团队为此过程留出至少几个小时。

如果您正在寻找起点，请尝试进行黑镜头脑风暴。此练习基于节目《黑镜》，该节目讲述了科技黑暗可能性的故事。尝试弄清楚您的产品在节目的一集中将如何被使用——最疯狂、可怕、失控的用于伤害的方式。当我领导黑镜头脑风暴时，参与者通常最终玩得很开心（我认为这很棒——在设计安全时享受乐趣是可以的！）。我建议将黑镜头脑风暴时间限制在半小时，然后收回并利用剩余时间思考更现实的伤害形式。

在您识别了尽可能多的滥用机会后，您可能仍然不确信您已发现每一种潜在的伤害形式。在进行这类工作时，健康的焦虑是正常的。设计安全的团队常常担心，“我们真的识别了所有可能的危害吗？如果我们遗漏了什么怎么办？”如果您花了至少四个小时想出您的产品可能被用于伤害的方式并且已经用尽了想法，请进入下一步。

不可能保证您已想到了一切；不要追求100%的保证，而是认识到您已经花了这段时间并尽了最大努力，并承诺在未来继续优先考虑安全。一旦您的产品发布，您的用户可能会识别您遗漏的新问题；旨在优雅地接收该反馈并迅速纠正。

步骤4：设计解决方案#section9

此时，您应该有一个产品可能被用于伤害的方式列表，以及描述相反用户目标的幸存者和施害者原型。下一步是识别设计方法来对抗已识别的施害者目标并支持幸存者目标。此步骤是一个很好的插入点，可以 alongside 您设计过程的现有部分，在那里您为研究揭示的各种问题提出解决方案。

一些帮助防止伤害和支持原型的问题包括：

• 您能否以这样一种方式设计您的产品，使已识别的伤害首先无法发生？如果不能，您可以设置哪些障碍来防止伤害发生？
• 您如何让受害者意识到通过您的产品正在发生滥用？
• 您如何帮助受害者理解他们需要做什么来使问题停止？
• 您能否识别任何类型的用户活动，这些活动将指示某种形式的伤害或滥用？您的产品能否帮助用户获得支持？

在某些产品中，可以主动识别伤害正在发生。例如，一个怀孕应用程序可能被修改以允许用户报告他们是袭击的受害者，这可能会触发提供本地和国家组织资源的提议。这种主动性并不总是可能，但值得花半小时讨论任何类型的用户活动是否会指示某种形式的伤害或滥用，以及您的产品如何以安全的方式协助用户获得帮助。

也就是说，要谨慎使用：您不希望做任何可能使用户处于危险中的事情，如果他们的设备正在被监视。如果您确实提供某种主动帮助，始终使其自愿，并思考其他安全问题，例如需要将用户保留在应用程序中，以防施害者检查他们的搜索历史。我们将在下一章中 walk through 一个很好的例子。

步骤5：安全测试#section10

最后一步是从原型的角度测试您的原型：希望将产品武器化用于伤害的人以及需要重新获得对技术控制的伤害受害者。就像任何其他类型的产品测试一样，此时您将旨在严格测试您的安全解决方案，以便识别差距并纠正它们，验证您的设计将有助于保持用户安全，并对将产品发布到世界上更有信心。

理想情况下，安全测试与可用性测试同时进行。如果您在一家不进行可用性测试的公司，您可能能够使用安全测试巧妙地执行两者；一个用户通过您的设计试图将产品武器化对抗他人时，也可以被鼓励指出他们不理解的设计交互或其他元素。

您将希望对最终原型或实际产品（如果已发布）进行安全测试。测试一个从一开始就没有以安全目标设计的现有产品没有任何问题——“改造”它以安全是一件好事。

请记住，安全测试涉及从施害者和幸存者两个角度进行测试，尽管对您来说同时进行两者可能没有意义。或者，如果您制作了多个幸存者原型以捕捉多个场景，您将希望从每个原型的角度进行测试。

与其他类型的可用性测试一样，作为设计师，您此时很可能对产品及其设计过于熟悉，无法成为有价值的测试者；您对产品太了解了。不要自己动手，而是像其他可用性测试一样设置测试：找一个不熟悉产品及其设计的人，设置场景，给他们一个任务，鼓励他们大声思考，并观察他们如何尝试完成它。

施害者测试#section11

此测试的目标是理解某人将您的产品武器化用于伤害的容易程度。与可用性测试不同，您希望使他们实现目标不可能，或至少困难。参考您之前创建的施害者原型中的目标，并使用您的产品尝试实现它们。

例如，对于具有GPS位置功能的健身应用程序，我们可以想象施害者原型的目标是找出他前女友现在住在哪里。带着这个目标，您将尝试一切可能的方法来找出另一个已启用隐私设置的用户的位置。您可能尝试查看她的跑步路线，查看她个人资料上任何可用信息，查看关于她位置的任何可用信息（她已设置为私有），并调查以某种方式与她账户连接的任何其他用户的个人资料，例如她的关注者。

如果在此过程中，您设法 uncover 了她的一些位置数据，尽管她已将个人资料设置为私有，您现在知道您的产品 enables 跟踪。您的下一步是回到步骤4并找出如何防止这种情况发生。您可能需要重复设计解决方案和测试它们的过程不止一次。

幸存者测试#section12

幸存者测试涉及识别如何向幸存者提供信息和权力。基于产品或背景，它可能并不总是有意义。挫败施害者原型跟踪某人的尝试也满足了幸存者原型不被跟踪的目标，因此从幸存者的角度不需要单独的测试。

然而，有些情况下它是有意义的。例如，对于智能恒温器，幸存者原型的目标将是理解当他们自己没有操作时，是谁或什么在改变温度。您可以通过查找恒温器的历史日志并检查用户名、操作和时间来测试这一点；如果您找不到该信息，您将在步骤4中有更多工作要做。

另一个目标可能是在幸存者意识到施害者正在远程更改其设置后重新获得对恒温器的控制。您的测试将涉及尝试弄清楚如何做到这一点：是否有说明解释如何移除另一个用户并更改密码，并且它们是否容易找到？这可能再次揭示需要做更多工作来向用户明确他们如何重新获得对设备或账户的控制。

压力测试#section13

为了使您的产品更具包容性和同情心，考虑添加压力测试。这个概念来自Eric Meyer和Sara Wachter-Boettcher的《为真实生活设计》。作者指出，人物角色通常以拥有美好一天的人为中心——但真实用户常常焦虑、压力大、日子不好过，甚至经历悲剧。这些被称为“压力案例”，为处于压力案例情境中的用户测试您的产品可以帮助您识别设计缺乏同情心的地方。《为真实生活设计》有更多关于将压力案例融入设计的样子以及许多其他同情心设计策略的细节。