ScamAgents：AI代理如何模拟人类级别诈骗电话

大型语言模型（LLMs）已展现出令人印象深刻的流畅性和推理能力，但其滥用潜力引发了日益增长的担忧。本文提出ScamAgent——一个基于LLMs构建的自主多轮代理，能够生成高度逼真的诈骗电话脚本来模拟现实世界欺诈场景。

与先前专注于单次提示滥用的研究不同，ScamAgent具备对话记忆功能，能够动态适应模拟用户响应，并在多轮对话中采用欺骗性说服策略。研究表明，当前LLM的安全防护机制（包括拒绝机制和内容过滤器）对此类基于代理的威胁无效。即使具有强大提示级安全保护的模型，当提示在代理框架中被分解、伪装或逐步传递时，也会被绕过。

研究进一步展示了使用现代文本转语音系统将诈骗脚本转换为逼真语音通话的过程，实现了完全自动化的诈骗流程。这些发现凸显了对多轮安全审计、代理级控制框架以及检测和破坏由生成式AI驱动的对话欺骗新方法的迫切需求。

技术实现要点：

• 基于LLM的多轮对话代理架构
• 动态脚本生成与记忆保持机制
• 文本到语音（TTS）系统集成
• 安全防护机制的绕过技术分析

会议信息： 本文已被CAMLIS 25：应用机器学习信息安全会议接收（10页，3图）