AI的承诺与风险：应对新兴网络威胁——Dark Reading小组讨论实录
讨论摘要
Dark Reading主办的“AI的承诺与风险：应对新兴网络威胁”虚拟小组讨论了生成式AI在网络安全中快速演变的作用。小组探讨了AI如何同时赋能攻击者和防御者，包括自动化钓鱼、深度研究辅助以及降低零日漏洞发现门槛等工具。专家们强调了现实世界中的威胁，如AI驱动的社会工程学、提示注入和供应链风险，以及保护AI集成应用面临的挑战。尽管小组承认围绕AI存在炒作和恐惧，但强调实际缓解措施、改进开发实践以及培养AI系统信任和完整性的重要性。尽管担忧日益增长，讨论以乐观态度结束，鼓励使用AI赋能防御者并促进网络安全创新。
讨论的关键主题
1. AI作为双刃剑
威胁行为者的攻击性使用：AI通过实现更个性化、可扩展和复杂的攻击，降低了网络犯罪分子的门槛。社会工程学、钓鱼和数据利用（尤其是使用泄露数据和深度伪造）是主要关注点。
暴风雨前的宁静：Caleb Sima指出，虽然AI威胁是真实的，但当前攻击者的采用处于“安静期”，因为他们正在研究如何有效扩展AI——真正的产品化预计在一年内实现。
2. 新兴威胁
深度研究工具：结合泄露数据、开源情报（OSINT）、图像分析和大型语言模型（LLM）的工具可以即时构建丰富的攻击者档案——显著提高社会工程学的有效性。
AI代理和提示注入：Rob Ragan强调，2025年将是代理AI系统之年。攻击者将利用间接提示注入来利用这些多步代理工作流，获取敏感数据或执行恶意操作。
遗留基础设施面临风险：AI特别擅长分析和逆向工程老旧、晦涩的系统，这可能导致关键基础设施中零日漏洞利用的增加。
3. 防御性安全中的AI
增强测试和自动化：AI已经在改进漏洞扫描、代码审查和安全问题优先级排序方面发挥作用。例如，Bishop Fox的团队使用AI加速固件漏洞发现。
代码安全：虽然AI生成的代码可以提高生产力，但可能缺乏最佳实践或存在隐藏缺陷。组织必须使用传统和AI增强的SAST工具双重检查LLM生成的代码。
4. 人为因素和信任
社会工程学的演变：随着逼真的深度伪造和AI生成的 pretext，检测欺诈的传统线索正在消失。Eric Kruse和Rob Ragan都强调技术控制、行为分析和用户教育作为关键防御措施。
供应链和信任挑战：AI扩展了数字供应链的攻击面。知道信任谁和什么变得越来越困难。
5. 实用建议
深度防御至关重要：技术缓解措施（例如会话安全、代理访问控制、适当验证）是必不可少的。
像测试代码一样测试模型：就像传统代码一样，模型需要版本控制、测试和安全评估。模型完整性和来源的信任将是一个新前沿。
为AI生成的漏洞利用做准备：AI很快将使初级攻击者能够发现零日漏洞。组织应重新思考漏洞管理和威胁建模。
6. 乐观与机遇
尽管存在担忧，小组成员表达了希望。AI可以帮助防御者变得更快速、更高效和更有创造力——尤其是在威胁检测和修复方面。Rob Ragan将其描述为一种“超能力”，使安全团队能够以更少的资源做更多的事。
小组成员
- Caleb Sima – CSA AI安全倡议主席
- Rob Ragan – Bishop Fox首席技术策略师
- Stephen Thoemmes – Snyk开发者倡导者
- Erich Kron – KnowBe4安全意识倡导者