AI原则：保障AI在支付环境中的安全应用
人工智能系统正日益广泛地应用于企业支付系统的创建、管理和运营中。其应用范围正从人类直接管理的系统扩展到具有自主行动能力的代理型AI系统。AI系统的快速变革使得理解这些系统带来的潜在风险以及如何安全部署变得困难。
PCI安全标准委员会与支付安全行业合作，提出了开发和部署AI系统时应考虑的高层级原则。这些原则以"不应具备"、“应该具备"和"可能具备"的特性来表达与AI系统使用相关的内容。尽管这些内容仅为指导性意见，但清单以一个必须遵守的要求开始。
请注意以下清单并非详尽无遗。随着该行业的快速创新，PCI SSC将持续发展、调整并定期评估这些原则，以确保与行业保持一致。
AI原则概述
深入探索AI原则：
AI系统必须 > 进一步探索 AI系统不应 > 进一步探索 AI系统应该 > 进一步探索 AI系统可能 > 进一步探索
AI系统必须：
AI系统必须按照适用的PCI SSC要求进行部署和管理
使用AI并不会消除或绕过满足任何适用PCI SSC标准要求的需要。例如，如果您的实施在PCI DSS范围内，AI系统需要按照PCI DSS要求实施。这包括数据在存储、处理和传输过程中的安全保护方式。
这可能有时很复杂，AI系统通常以不易分解和理解的方式运行。然而，这种复杂性并不会消除满足任何适用要求的需要。
AI系统不应：
被信任处理高影响秘密或未受保护的敏感数据
已知AI系统会在没有直接提示或通过特定恶意格式化提示输入的情况下提供包含敏感信息的输出。此外，AI系统的数据处理和流可能不完全包含或限制在实体的控制范围内。
防止这种敏感数据暴露首先从限制提供给AI系统的敏感数据开始。这包括确保用于训练AI系统的数据在使用前已清除敏感信息和秘密，以及确保这些系统使用和信任的生产数据得到适当保护。
应排除在AI数据集之外的敏感数据示例包括API访问令牌和用户凭证（非该AI特定）、未受保护的账户数据以及加密密钥或密钥材料。
被授权执行需要正式承担责任的操作
重要的是要记住，即使AI能力不断增强，这些系统也不是人类个体，它们不能接受或承担责任。因此，需要正式承担责任的操作和角色不适合AI系统。这包括诸如密钥保管人（这一角色也被上述"无高影响秘密"原则阻止）和提供管理级授权或批准等角色。
用于生成安全敏感的随机或秘密值
在一个可以说AI与人类同样擅长的情况下是生成随机数和其他独特的秘密值。也就是说，AI和人类在"想出"随机值方面同样糟糕！确定一个值是否真正随机通常具有挑战性，建议始终使用已知良好的随机数生成器，并以保持生成值秘密和安全的方式使用。
让AI系统在需要随机值时接口到这样的已知良好RNG可能看起来合理，但如果使用是生成高影响秘密（加密密钥、密码等），该使用将违反第一个"不应"原则。当然，如果随机值不是安全敏感的，此原则可能不适用。
在没有人在回路的情况下实现对创建和部署过程链的完全代理控制
使用AI系统的一个重要概念是确保存在"人在回路”。这意味着应始终有人参与并负责监督端到端过程。AI系统可用于执行创建、测试和部署软件的各个操作——但创建和部署管道的全部不应完全自动化。
同样重要的是要理解不同的AI系统可能针对开发的特定方面进行训练或调整。用于创建软件的AI系统可能没有专门训练来创建安全软件。
PCI DSS要求6涵盖了软件开发的安全性，仍然是使用AI系统的良好参考。
被提供不需要用于其操作的系统信息访问权限
PCI DSS要求7指出了"最小权限"（仅提供执行工作所需的最低权限级别）和"需要知道"（仅提供执行工作所需的最少数据访问权限）的重要性。在考虑使用AI系统时，这些项目同样适用。给AI系统提供尽可能多的系统和信息访问权限可能很诱人，但这增加了如果出现问题或以意外方式工作时潜在影响。
AI系统应该：
仅在适当保护的情况下被提供账户数据访问权限
AI系统长期以来一直用于支付中帮助检测欺诈和管理支付风险。然而，相对较新的是使用代理AI促进甚至代表持卡人进行支付。这些操作显然需要某种形式的支付卡数据访问权限；然而，这并不意味着数据无法受到保护。在后面的原则中，讨论了使用单次使用PAN和支付令牌作为协调AI需要使用支付数据同时保持该支付数据安全的一种潜在方式。
PCI DSS要求3涵盖了如何保护静态持卡人数据，要求4涵盖了在传输过程中保护这些数据，这些要求同样适用于基于AI的系统。
部署为能够记录和监控AI执行的操作，并由（人类）个人对这些操作负责
在之前的一个原则中，指出了理解AI不能被追究责任的重要性。这个原则是另一个方面——需要有一种方法来记录和监控AI系统正在做什么，以便操作可以追溯到执行该操作的系统，并且可以由人类个人对这些操作负责。负责个人的角色在这里很重要，因为AI系统通常涉及大型团队，但最终责任必须归结到单个个人。
在可能的情况下，日志记录应足以审计导致提供输出的AI系统使用的提示输入和推理过程。
PCI DSS要求10涵盖了日志记录和监控的需求，应在此背景下考虑。
在部署前和整个部署过程中进行验证，以确认它们继续按预期工作
验证需求在AI系统的整个生命周期中都很重要；从训练到初始部署，再到操作正确性的持续验证。这包括考虑供应链风险——AI模型来自哪里，训练数据来自哪里等。
在部署和使用AI系统时，重要的是要理解它们通常本质上是非确定性的——从系统获得的输出可能在给定完全相同输入的情况下发生变化。此外，随着系统获取和处理更多输入（可能包括来自威胁行为者的恶意输入），系统会随时间"漂移"。这使得持续验证的需求更加重要。
应考虑PCI DSS要求6和11。
实施为在需要时可以轻松禁用
在实施任何系统时要问的一个重要问题是"如果出现问题怎么办？“这对AI系统同样适用，因此作为任何AI部署规划的一部分，确保有一个清晰且充分理解的禁用操作过程。这可能看起来很明显，但如果没有从一开始就设计，有时可能会很复杂。
保护免受恶意输入和畸形输出的影响
在保护软件和数据存储库接口时，保护免受恶意输入的需求已得到充分理解。类似的安全类型对AI系统同样重要，这些系统可能容易受到"提示注入"和"数据投毒"等攻击。从根本上说，这些类型的攻击利用AI系统的不安全接口，目标是让AI执行特权操作、泄露敏感数据或以对恶意实体有用的方式改变其行为。在支付系统中，AI系统应受到保护，防止旨在执行欺诈性支付的攻击。
因此，对AI系统可以接收和执行操作的输入或命令类型实施控制，并过滤AI系统的输出非常重要。
为任何所需访问提供有限的、用例特定的和上下文特定的凭证
之前的一个原则概述了AI系统不应"被提供不需要用于其操作的系统信息访问权限”。另一方面是确保提供的任何访问都适当限制并特定于该AI系统的需求和实施。
AI系统应提供自己的凭证，这些凭证可以轻松跟踪并在必要时撤销（按照在需要时禁用系统的原则）。在可能的情况下，这些凭证应以某种方式与AI系统绑定，以减轻凭证被盗和恶意方重用的风险（例如，通过使用绑定凭证）。提供的任何凭证应满足最小权限和需要知道的要求。
安全AI系统的另一个方面是考虑应向哪些人类用户（或其他自动化系统）提供对AI系统的访问权限。
在威胁分析练习和事件响应演练中被视为潜在的"恶意内部人员"
PCI DSS要求12涵盖了信息安全策略、流程和事件响应。具体而言，PCI DSS要求12.10涵盖了事件响应计划的需求。这些计划应涵盖恶意AI使用的可能性，无论是外部方颠覆正常AI操作还是内部员工滥用AI系统。在AI被授予在网络或环境中执行操作的某种代理权时，事件响应计划应考虑AI本身成为"恶意内部人员"的可能性。
以保护操作环境、上下文/用户特定数据免受其他用户和其他AI系统影响的方式实施
PCI DSS要求1涵盖了实施安全网络的重要性，虽然不需要分段网络，但对AI系统进行分段和隔离有助于降低这些系统在恶意上下文中使用或通过意外操作暴露敏感系统、数据或功能的风险。围绕AI系统的分段和安全控制也可以在系统级别实施——在物理机、虚拟机、操作系统、容器等级别。
AI系统可能：
被提供受保护支付数据的访问权限
在实施访问持卡人数据的AI系统时，考虑使用支付令牌或单次使用PAN来限制AI系统的范围和影响。虽然超出PCI要求范围，但对这些值的使用实施限制（限制总支出或支出频率、限制单个商户使用、限制可用寿命等）可以进一步降低风险。在访问严格不需要完整PAN的情况下，截断的PAN或在保持明文BIN数据同时加密的PAN可能适合减轻与AI使用相关的任何风险。
用于提供批准决策的输入并在批准决策做出后执行操作
虽然AI系统不能承担责任，但使用AI系统为授权决策提供输入是非常合理的。例如，AI系统在确定和实施网络系统补丁方面可能很有用。预计负责任的人类会授权此类使用——然而，基于适当的风险分析，这可能从总体级别批准扩展到对每个要修补的单独系统的特定批准。
PCI DSS要求6涵盖了变更管理，包括可审计性和批准的需求。这些要求同样适用于基于AI的系统。
被信任自主执行故障安全操作
AI系统可以监控许多不同的信息源，并比人类更快地执行某些操作。虽然之前的原则指出了AI操作授权的重要性，但在响应持续攻击时，授权前的操作可能适当的一个领域。在这里，AI系统可能被信任执行主动隔离、网络限制或其他缓解措施，而无需直接人类批准。
但是，如果向AI系统提供此类控制必须小心：这是否会导致更容易部署拒绝服务攻击？AI需要哪些访问和权限来执行这些操作，以及该访问和权限结构如何被滥用？
用于收集、审查和总结内容
目前AI最常见的用途之一可能是解析大型数据集并提供基于这些数据的输出。PCI DSS要求10.4要求的日志审查就是一个很好的例子。
然而，正如之前的原则所指出的，持续检查和验证这些系统是否提供正确和预期的输出仍然很重要——这种实施的最坏情况是AI系统持续提供显示一切正常的摘要日志，而实际上存在需要更多关注的领域。
用于生成内容，作为产品开发或部署过程的一部分
AI现在经常用于内容生成——书面文档（如策略文档）和软件是以这种方式可能产生的最常见内容形式。虽然之前指出了"人在回路"的重要性，但这并不意味着AI系统不能用于内容生成和系统/软件测试。
用作用户交互系统的一部分
最后，将AI系统用于用户交互既常见又在增加。如果实施了适当的控制，这是一个有效的用例。可以预期任何暴露于公共访问的AI系统将受到各种尝试操纵的影响，从愚蠢的（让帮助台聊天机器人帮助编写代码）到破坏性的（操纵聊天机器人暴露敏感数据或其他用户的详细信息）。