Gartner对AI安全的观点：Computer Weekly停机上传播客

在过去的两年里，Gartner的Nader Henein及其他分析师一直与希望使用AI的CIO、CISO、业务领导以及销售和营销人员进行讨论。人们关注安全如何影响AI。

Henein表示：“在许多情况下，什么是AI及其工作原理并不是真正的AI安全问题。它们更多与AI相关，或者因为AI功能暴露了现有问题。”然而，在这些对话中，有一半的情况，Nader指出：“问题不是AI安全问题，而是访问控制问题——当你让AI系统访问它不应该访问的数据，然后它向不应该访问这些信息的人泄露信息时。”

对Henein来说，这是AI系统的一个大问题，因为如果配置不正确，这类系统很容易泄露数据。谈到内部数据泄露，他说：“很多人称之为过度共享。当你向模型提问时，它向内部用户提供了本不应提供的信息。”

还有外部数据泄露，即用户与AI模型交互时共享的信息出现在其他地方。Henein认为这两种形式的数据泄露都与最初提供给模型的数据类型以及需要设置防护措施以防止数据丢失有关。

鉴于AI系统是概率性的，并利用不同的训练数据集来推导用户查询的合理答案，Henein认为AI引擎内部需要访问控制，以便理解用户有权访问哪些数据集。

除非将这种访问控制内置到AI引擎中，否则如果AI模型基于其在企业内部可访问的所有数据进行训练，就存在非常真实的风险，即它会无意中向不应访问这些信息的人透露信息。另一种方法是为不同的用户组使用不同的模型，但正如Henein所指出的，这既极其昂贵又极其复杂。但他补充道：“对于许多情况来说，这也可能是前进的方向。”

Henein认为，小型语言AI模型可能提供了一条前进道路，提供可以根据个体用户需求进行调整的模型。

总体而言，他建议企业和IT领导者需要将AI模型视为刚招聘的新员工。“你会给他们访问所有内容的权限吗？不，你不会，”他说。“随着时间的推移，当他们展示出完成任务的能力时，你会逐渐信任他们。但我们没有对大型语言模型采取这种方法，因为AI提供商告诉每个人让AI访问所有数据和所有IT系统。它实际上以root或‘上帝模式’运行，而且它会让你物有所值！”

但行业对AI的宣传很多，这给CIO和CISO带来了采用AI的巨大压力。“他们必须展示进展。但你不必双腿跳入，”Henein说。“你希望采取有目的的步骤，投资于有一定投资回报率的事情，因为在某个时候，你的CFO会出现，问我们为什么支付数十万美元来总结会议。这真的物有所值吗？”