警惕AI语音代理的过度代理风险:Retell API 安全漏洞分析

本文分析了卡内基梅隆大学CERT/CC披露的安全漏洞VU#649739。该漏洞源于Retell AI的API因缺乏足够的护栏,导致其构建的语音代理存在“过度代理”问题,可能被用于大规模社会工程学攻击和网络钓鱼。

漏洞概述 VU#649739

原始发布日期: 2025-11-24 | 最后修订日期: 2025-11-24

概述

Retell AI 的 API 创建的 AI 语音代理因护栏机制不足,拥有过度的权限和功能。攻击者可利用此漏洞发起大规模的社会工程学攻击、网络钓鱼和虚假信息宣传活动。

详细描述

Retell AI 提供一套 API,可创建仿真人声的语音代理,这些代理能够执行各种商业操作、回答问题,并被自动化以完成其他与语音相关的任务。Retell AI 使用 OpenAI 的 GPT-4o 和 GPT-5 模型来处理对话,用户只需进行极少量的提示工程即可配置代理。

然而,Retell AI 缺乏足够的护栏,这导致其大型语言模型可能以意外的方式响应并输出恶意内容。护栏是 LLM 中的一种重要机制,用于过滤输入和输出,确保模型的行为符合预期的道德规范。由于护栏的缺失,Retell AI 允许语音 AI 代理拥有过度宽松的自主权,这种现象被称为 “过度代理”。恶意行为者只需极少的资源和技术知识,即可利用 Retell AI 的产品来诱导信任、提取数据和开展大规模的网络钓鱼操作。

影响

此漏洞利用了 Retell AI 易于部署和高度可定制的特点,可用于执行可扩展的网络钓鱼/社会工程学攻击。攻击者可以向 Retell AI 的 API 输入公开可用的资源以及一些指令,以生成大量自动化的虚假呼叫。这些虚假呼叫可能导致未经授权的操作、安全漏洞、数据泄露以及其他形式的操控。

解决方案

Retell AI 尚未就此发布声明,协调披露工作已经尝试进行。用户在与 AI 语音代理交谈时应提高警惕,遵循安全最佳实践,避免输入敏感数据。开发人员应通过设置足够的护栏来限制功能和权限,并对高风险或高流量任务实施人工审批。

致谢

感谢报告者 Keegan Parr 的报告。报告者的披露信息可见于此:https://haxor.zip/。本文件由 Ayushi Kriplani 撰写。

供应商信息

  • Bland AI - 状态:未知
  • Lindy - 状态:未知
  • Retell AI - 状态:未知
  • Synthflow AI - 状态:未知
  • Vapi AI - 状态:未知 (所有供应商均已被通知,截至2025-11-24,均未收到供应商声明。)

参考链接

其他信息

  • 公开日期: 2025-11-24
  • 首次发布日期: 2025-11-24
  • 最后更新日期: 2025-11-24 14:53 UTC
  • 文档修订版本: 2
comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计