AI与LLM安全实用措施：守护企业未来

人工智能（AI）和大型语言模型（LLM）已从新颖的创新转变为企业环境中的必备工具。然而，随着AI技术的不断进步和新安全问题的出现，企业在应对围绕AI的相互矛盾的信息和流行神话时面临着相当大的学习曲线。

Bishop Fox与Moveworks的首席信息安全官Damián Hasse、Moveworks的安全与隐私工程师Emily Choi-Greene以及Bishop Fox的首席研究员Rob Ragan进行了一次炉边谈话。“企业实用AI和LLM安全缓解措施”网络研讨会重点介绍了当今企业的重大进展、挑战和安全考虑，并分享了行业领袖的实用建议和真实案例。

在本博客中探索网络研讨会的亮点，不要错过按需观看的机会。

企业解决方案中AI的演变

AI在企业技术中的使用已经从简单的聊天机器人发展到复杂、灵活的解决方案。早期的机器人受限于刚性编程——想想具有“选择A、B或C”功能的机场值机亭——已经让位于能够理解并处理复杂查询的高级系统。

早期的机器学习（ML）工具是判别式模型。这意味着它们接受输入并根据一组定义的选项进行分类。分类可以基于用户意图（他们想做什么？）、二元答案或识别用户句子中的关键实体（例如“我在找我的工资单”中的“工资单”）。

生成式ML模型将其推进了几个突破性的步骤。与判别式模型不同，生成式ML模型理解语言并用其生成全新的文本，如摘要、重述或合成。

判别式和生成式模型并不互斥。企业可以同时使用判别式和生成式模型；例如，在分析客户问卷时，使其销售团队能够提出更有针对性的后续问题。公司可以根据定义的标准提取数据（判别式）并生成合成概述（生成式），包括允许查看源数据的引用。

AI具有彻底改变企业运营的巨大潜力，但整合这些技术充满挑战。阻碍AI解决方案采用和有效性的常见问题包括可用性、成本和延迟。

克服这些障碍的推荐方法包括积极管理用户期望。例如，为了解决延迟问题，AI解决方案可以向用户提供实时反馈，说明正在采取哪些步骤来响应他们的请求。自动状态更新，如“我正在搜索我们的知识库”，可能有助于向用户显示AI解决方案正在处理请求，即使结果没有立即出现。

导航AI安全风险

与AI模型相关的重大安全风险包括数据投毒、过拟合和数据泄露。

数据投毒

传统上，数据投毒涉及信息进入训练数据集，从而扭曲模型的行为方式。但考虑到大型语言模型训练数据集的巨大规模，这种类型的数据投毒在LLM中相对少见。

然而，更常见的是ML模型从内部数据源中浮现信息，这些数据源由于不正确或过时的数据而意外被投毒。虽然这可能导致错误，但它有一些意想不到的好处，例如帮助客户识别需要更新的基于知识的文章。

过拟合

过拟合限制了模型从其训练数据中泛化的能力。这可能是因为训练数据集严重偏向特定示例，或者使用了非常相似的评估和训练数据。

与数据投毒一样，由于LLM训练数据集的巨大规模，过拟合的风险较小。缓解这两种风险的推荐策略包括使用多样化的数据集并借鉴可信来源，确保模型既准确又具有弹性。

数据泄露

数据泄露威胁涉及意外的信息披露。掩码数据、差分隐私以及将使用与训练分开有助于遏制风险，尽管随着环境的快速变化，保持警惕仍然关键。数据泄露也可能由于有缺陷的过程而发生，这些过程涉及但不限于AI。

我们的专家指出，建立控制措施以防止AI模型为自己或其他AI模型做出安全决策至关重要。这有助于避免混淆代理攻击，这种攻击发生在实体操纵另一个具有更高特权的实体执行未经授权的操作时。

Moveworks通过防止其自身产品背后的AI/ML模型确定用户是谁或他们可以采取什么行动来解决这个问题。这由用户身份及其相关的用户实体决定，以最小化AI模型做出带来安全风险的决策的可能性。

差分隐私：深入探讨

差分隐私处于AI数据保护技术的前沿，提供了一个在模型训练中使用数据而不损害个人隐私的框架。

简单来说，差分隐私意味着给某人合理的否认，即他们的数据包含在训练数据集中。向数据集中添加受控的随机噪声意味着无法将数据归因于特定个人或群体，但模型仍然可以很好地泛化。

这种主动立场对于希望利用AI和LLM而不损害数据完整性的公司至关重要。

企业采用AI的考虑因素

在开发内部AI能力和与第三方AI供应商合作之间做出决定对企业至关重要。这一选择取决于对与AI技术相关的安全、数据处理和隐私政策的透彻理解。

构建内部AI项目是一项相当大的任务，需要大量专用资源来确保安全的基础设施、开发和部署。使用第三方将这些努力外包，但需要 meticulously 考虑的供应商选择和管理。CISO必须评估供应商的数据处理、访问控制、删除过程、审计能力和合规性。

虽然本地选项有时被认为比基于云的解决方案更安全，但这不一定成立。无论为组织选择哪种设置，适当的威胁建模对于强大的安全态势仍然至关重要。

我们的专家强调了将已建立的Web安全概念与AI安全进行比较的价值，以帮助安全团队将他们现有的知识连接到这个新领域。例如，展示混淆代理攻击如何类似于服务器端请求伪造（SSRF）为寻求采用或构建AI技术的安全团队提供了一个合理的类比。

结论

随着AI继续塑造企业技术的未来，采取实用、知情的方法是利用其潜力同时最小化安全风险的关键。我们必须保持警惕，利用学到的教训为全球企业培育一个安全且可持续的AI驱动未来。

要深入了解这个主题并了解更多关于导航AI采用的复杂地形，请确保收听炉边谈话。