AI代理正制造内部安全威胁盲区,研究揭示技术隐患
人工智能代理的安全隐患
人工智能代理(能够代表人类执行任务或决策的自主软件)正在企业中快速普及。它们通过接管重复性任务(如销售线索呼叫或数据录入)显著提升效率。然而,由于AI代理能够在用户控制之外运行,它们也带来了新的安全风险:用户可能并不总是清楚其AI代理的行为,且这些代理能够相互交互以扩展能力范围。
身份威胁成为核心安全问题
安全公司BeyondID的新研究发现,美国企业经常允许AI代理独立登录、访问敏感数据并触发操作。但仅有30%的企业积极识别或映射哪些AI代理有权访问关键系统,这造成了安全盲区。
最高安全威胁:AI冒充用户
对美国IT领导者的调查显示,37%的受访者最担忧AI冒充用户的安全威胁。这与导致重大经济损失的多起高调诈骗案相关。若未妥善保护,恶意行为者可欺骗或劫持企业的AI代理来模拟可信行为,诱骗系统或用户授予未授权访问或执行有害操作。但令人担忧的是,仅6%的领导者将保护非人类身份视为顶级安全挑战。
报告指出:“AI代理无需恶意即可构成危险。若不受控制,它们可能成为具有广泛访问权限且无问责制的影子用户。”
医疗行业面临特殊风险
医疗行业尤其脆弱,该行业虽快速采用AI代理进行诊断和预约安排等任务,但仍高度易受身份相关攻击。受访的医疗行业IT领导者中,61%表示其企业曾遭遇此类攻击,42%未能通过身份相关的合规审计。
研究人员写道:“AI代理现在处理受保护的健康信息(PHI)、访问医疗系统并与第三方交互,且通常缺乏严格监督。”
技术发展与安全风险并存
2024年底,TechRepublic预测今年AI代理的使用将激增。OpenAI首席执行官Sam Altman在1月的博客文章中呼应了这一观点,称“我们可能看到首批AI代理‘加入劳动力大军’,实质性改变企业产出。”本月,亚马逊CEO暗示未来裁员可能与高级AI代理的深度集成有关。
OpenAI和Anthropic都在大力投资扩展其代理产品能力。据Gartner预测,到2028年,33%的企业软件应用将包含代理AI,而2024年这一比例不足1%。
然而,部分组织不愿承担安全风险,欧盟委员会已禁止在线会议期间使用AI驱动的虚拟助手。