Gartner视角:AI安全中的访问控制挑战与解决方案

本文探讨了Gartner分析师Nader Henein对AI安全的核心观点,指出半数AI安全问题实为访问控制问题。文章分析了内部与外部数据泄露风险,并提出了在AI引擎中构建访问控制、采用小型语言模型等解决方案,强调企业应循序渐进地部署AI系统。

在过去的两年中,Gartner的Nader Henein及其他分析师与CIO、CISO、业务领导者以及希望使用AI的销售和营销人员进行了多次讨论。人们关注安全如何影响AI。

Henein表示:“AI是什么以及它如何工作,在许多情况下并非真正的AI安全问题。这些问题更多与AI相关,或是因为AI功能暴露了现有问题。”然而,在这些对话中,Nader指出:“半数问题并非AI安全问题,而是访问控制问题——当你让AI系统访问其不应访问的数据时,它会将信息泄露给不应访问这些信息的人。”

对Henein而言,这是AI系统的一个重大问题,因为如果配置不当,这类系统很容易泄露数据。谈到内部数据泄露,他说:“许多人称之为过度共享。即当你向模型提问时,它向内部用户提供了本不应提供的信息。”

此外还有外部数据泄露,即用户与AI模型交互时共享的信息出现在其他地方。Henein认为这两种数据泄露形式都与最初提供给模型的数据类型以及需要设置的保护措施以防止数据丢失有关。

鉴于AI系统是概率性的,并利用不同的训练数据集来推导用户查询的合理答案,Henein认为需要在AI引擎内部实现访问控制,使其理解用户有权访问哪些数据集。

除非将这种访问控制内置到AI引擎中,否则如果AI模型基于其在企业内可访问的所有数据进行训练,则存在真实风险,即它会无意中向不应访问该信息的人透露信息。另一种方案是为不同用户组创建不同模型,但正如Henein所指出的,这既极其昂贵又非常复杂。但他补充道:“对于许多情况,这也可能是前进的方向。”

Henein认为,小型AI语言模型可能提供了一条前进道路,提供可根据个人用户需求进行调整的模型。

总体而言,他建议企业和IT领导者将AI模型视为新雇佣的员工。“你会给他们访问一切的权限吗?不,不会,”他说。“随着他们展示出完成任务的能力,你会逐渐信任他们。但我们没有对大型语言模型采取这种方法,因为AI提供商告诉所有人让AI访问所有数据和所有IT系统。它实际上以root或‘上帝模式’运行,这会让你物有所值!”

但行业对AI的炒作很多,这给CIO和CISO带来了采用AI的巨大压力。“他们必须展示进展。但你不必双腿跳入,”Henein说。“你希望采取有目的的步骤,投资于有一定投资回报率的事物,因为在某个时刻,你的CFO会出现,询问我们为什么支付数十万美元来总结会议。这真的物有所值吗?”

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计