Gartner对AI安全的观点：Computer Weekly停机上传播客

在过去的两年里，Nader Henein和Gartner的其他分析师一直在与CIO、CISO、业务领导者以及销售和营销人员讨论AI的使用。人们关心安全如何影响AI。

Henein表示：“什么是AI以及它如何工作，在许多情况下并不是真正的AI安全问题。它们更多与AI相关，或者因为AI功能暴露了一个现有问题。”然而，在这些对话中，有一半的情况下，Nader说：“问题不是AI安全问题。这是一个访问控制问题，当你给AI系统访问它不应该访问的数据时，它会将信息泄露给不应该访问这些信息的人。”

对Heinen来说，这是AI系统的一个大问题，因为如果配置不正确，这些系统很容易泄露数据。谈到内部数据泄露，他说：“很多人称之为过度共享。当你向模型提问时，它向内部用户提供了不应该提供的信息。”

然后是外部数据泄露，用户与AI模型交互时，共享的信息出现在其他地方。Henein认为这两种形式的数据泄露都与最初提供给模型的数据类型以及需要到位的防护措施以防止数据丢失有关。

鉴于AI系统是概率性的，并利用不同的训练数据集来推导用户查询的合理答案，Heinen认为需要在AI引擎内部进行访问控制，以便它理解用户有权查看哪些数据集。

除非这种访问控制内置到AI引擎中，如果AI模型在业务内访问的所有数据上进行训练，那么存在非常真实的风险，它会无意中向不应该访问这些信息的人透露信息。另一种方法是为不同的用户组使用不同的模型，正如Henein指出的，这既非常昂贵又非常复杂。但他补充说：“对于许多情况来说，这也可能是前进的方向。”

Henein认为，小型语言AI模型可能提供一条前进的道路，提供可以根据个人用户需求进行调整的模型。

总体而言，他建议业务和IT领导者需要将AI模型视为刚雇佣的新员工。“你会给他们访问一切吗？不，你不会，”他说。“随着时间的推移，你逐渐信任他们，因为他们展示了完成任务的能力。但我们没有对大型语言模型采取这种方法，因为AI提供商告诉每个人给AI访问所有数据和所有IT系统的权限。它实际上以root或‘上帝模式’运行，它会给你物有所值！”

但行业对AI有很多炒作，这给CIO和CISO带来了采用AI的巨大压力。“他们必须展示进展。但你不必双腿跳入，”Henein说。“你希望采取有目的的步骤，投资于有一定投资回报率（ROI）的东西，因为在某个时候，你的CFO会出现，问我们为什么支付数十万美元来总结会议。这真的物有所值吗？”