引言
人工智能不再是硅谷路演文档中的流行词。过去一年间，它一直在悄然且有时剧烈地改变着犯罪地下世界。从深度伪造CEO指令进行百万美元转账，到由合成语音驱动的诈骗呼叫中心，生成式AI正被威胁行为者大规模测试、采用，并在某些情况下投入实战操作。
关键发现
- 冒充欺诈正在促成数百万美元的高管和金融欺诈，使传统的基于信任的验证日益不可靠
- 实时深度伪造正在成为利基市场，地下市场招募"AI视频演员"并销售即用型深度伪造解决方案
- AI驱动的诈骗呼叫中心现已投入运营，结合合成语音、入站AI应答器和LLM驱动的辅导，但在关键阶段仍依赖人工诈骗者
- 微调的自托管"暗黑大模型"正在扩散，提供无审查、犯罪优化的AI模型
- AI驱动的垃圾邮件工具大规模生成超个性化钓鱼邮件，绕过过滤器并提高送达率
- 恶意工具包越来越多地嵌入AI用于侦察、利用和代码混淆
- AI极大提高了网络犯罪的速度、规模和个性化程度
- 混合人机操作已经在重塑威胁格局
网络犯罪分子采用的关键AI驱动用例
1. 冒充欺诈 - 实时深度伪造兴起
在所有AI驱动的威胁向量中，欺骗是最先进且立即产生影响的。网络犯罪分子已将社会工程攻击提升到前所未有的真实感和规模水平。
主要攻击向量包括：
- 高管冒充：实时视频深度伪造在实时通话中冒充CEO、CFO或可信客户
- 浪漫和投资骗局：AI生成的虚假人设长期建立信任并操纵受害者
- KYC绕过：深度伪造视频和图像在账户创建或金融注册过程中欺骗身份验证
深度伪造服务已发展成一个完整的网络犯罪利基市场，卖家提供价格从5美元到50美元不等的深度伪造视频创建服务。
最令人担忧的发展是实时深度伪造 - 模拟合法个体在会议中自然说话和反应的实时视频流。过去两年中，已出现多起涉及数百万美元欺诈转账的高调案例。
2. AI辅助诈骗呼叫中心
传统依赖人工劳动的诈骗呼叫中心现在正在集成生成式AI以扩大规模和优化运营。犯罪开发者提供专门为欺诈设计的AI驱动呼叫中心平台。
目前，AI主要支持两个核心功能：
- 文本转语音和合成语音传递预录的诈骗信息或发起联系
- 入站AI语音应答器处理初始受害者查询，然后转接给人工诈骗者
AI充当实时教练的角色，优化社会工程策略，实现更有组织、数据驱动的欺诈操作。
3. 无限制生成式AI聊天机器人 - 自托管暗黑大模型的崛起
随着大语言模型在主流平台上的广泛可用，犯罪地下世界迅速推出了自己的无审查版本，称为暗黑大模型。
暗黑大模型协助各种网络犯罪活动，包括：
- 为浪漫、投资或冒充骗局生成欺诈和诈骗内容
- 制作钓鱼工具包、虚假网站和社会工程脚本
- 恶意软件和漏洞开发支持
- 通过漏洞侦察和利用链提供初始访问协助
至少有三个活跃供应商通过自托管平台提供暗黑大模型，一些模型声称超过800亿参数，订阅费用从每月30美元到200美元不等。
4. AI驱动的邮件发送器和垃圾邮件工具：更智能、可扩展的社会工程
生成式AI与传统垃圾邮件基础设施的集成标志着钓鱼、诈骗和恶意软件分发活动的重大转变。
地下开发者积极提供将genAI功能嵌入垃圾邮件和批量邮件发送器的工具，旨在：
- 使用抓取或输入的目标数据大规模个性化钓鱼诱饵
- 通过动态生成类人语言绕过基于内容的安全过滤器
- 自动化消息变异，减少重复并提高送达率
一个主要项目正在朝着完全自主的垃圾邮件代理发展，能够管理端到端工作流程。
5. AI增强的犯罪工具 - 集成但尚未自主
AI越来越多地嵌入恶意工具开发中。除了使用聊天机器人进行一次性代码生成外，网络犯罪分子现在直接将AI功能集成到工具包中，通常滥用公共聊天机器人API。
这些集成支持：
- 初始访问任务，如侦察和漏洞扫描
- 利用自动化和规避技术
- 战术协助，如代码生成、混淆和社会工程脚本创建
AI影响显著与尚未影响的领域
AI在网络犯罪领域的影响差异显著：
- 欺诈受益最大，生成式AI能够在冒充和浪漫骗局中实现可扩展、有说服力的诱饵
- 恶意软件开发从AI辅助代码生成和混淆中获益，降低了进入门槛
- 钓鱼通过AI个性化和垃圾邮件自动化得到改进，但在关键参与阶段仍依赖人工执行
AI适应现在如何影响防御者
关键防御挑战包括：
- 恶意活动的速度和规模显著增加
- 社会工程越来越难识别
- 威胁格局快速变化
- 欺诈检测面临新的规避策略
- 运营安全需要实时适应
- 归因变得更加复杂
AI驱动网络犯罪的未来发展趋势
我们正处于网络犯罪中AI应用的早期阶段，但发展轨迹很清晰，指向自动化和复杂化。可能的近期发展包括：
- 半自主恶意AI代理端到端协调攻击
- AI驱动的自适应恶意软件实时演化策略
- 无缝语音到语音冒充诈骗能力
建议
安全领导者应考虑以下优先事项：
- 超越单层防御
- 扩大对地下生态系统的可见性
- 重构意识培训
- 采用防御性AI
- 加强调查和响应能力