AI的承诺与危险：应对新兴网络威胁——Dark Reading小组讨论实录
讨论摘要
“AI的承诺与危险：应对新兴网络威胁”虚拟小组讨论由Dark Reading主办，探讨了生成式AI在网络安全中快速演变的角色。小组讨论了AI如何同时赋能攻击者和防御者，通过自动化网络钓鱼、辅助深度研究和降低零日漏洞发现门槛等工具。专家们强调了现实世界中的威胁，如AI驱动的社会工程、提示注入和供应链风险，以及保护AI集成应用程序的挑战。尽管小组承认围绕AI存在炒作和恐惧，但强调了实际缓解措施、改进开发实践以及培养AI系统信任和完整性的重要性。尽管担忧日益增加，讨论以乐观的态度结束，鼓励使用AI赋能防御者并促进网络安全创新。
讨论的关键主题
1. AI作为双刃剑
- 威胁行为者的进攻性使用：AI通过实现更个性化、可扩展和复杂的攻击，降低了网络犯罪分子的门槛。社会工程、网络钓鱼和数据利用（尤其是使用泄露数据和深度伪造）是主要关注点。
- 风暴前的宁静：Caleb Sima指出，虽然AI威胁是真实的，但当前攻击者的采用处于“安静期”，因为他们正在研究如何有效扩展AI——真正的产品化预计在一年内实现。
2. 新兴威胁
- 深度研究工具：结合泄露数据、OSINT、图像分析和LLM的工具可以即时构建丰富的攻击者档案——显著提高社会工程的有效性。
- AI代理和提示注入：Rob Ragan强调，2025年将是代理AI系统的一年。攻击者将利用间接提示注入来利用这些多步骤代理工作流程，以获取敏感数据或执行恶意操作。
- 遗留基础设施面临风险：AI特别擅长分析和逆向工程老旧、晦涩的系统，这可能导致关键基础设施中零日漏洞利用的增加。
3. AI在防御性安全中的应用
- 增强测试和自动化：AI已经在改进漏洞扫描、代码审查和安全问题优先级排序方面发挥作用。例如，Bishop Fox的团队使用AI加速了固件漏洞发现。
- 代码安全：虽然AI生成的代码可以提高生产力，但可能缺乏最佳实践或存在隐藏缺陷。组织必须使用传统和AI增强的SAST工具双重检查LLM生成的代码。
4. 人为因素和信任
- 社会工程的演变：随着逼真的深度伪造和AI生成的借口，检测欺诈的传统线索正在消失。Eric Kruse和Rob Ragan都强调技术控制、行为分析和用户教育是关键防御手段。
- 供应链和信任挑战：AI扩大了数字供应链的攻击面。知道谁和什么值得信任变得越来越困难。
5. 实用建议
- 深度防御至关重要：技术缓解措施（例如会话安全、代理访问控制、适当验证）是必不可少的。
- 像测试代码一样测试模型：就像传统代码一样，模型需要版本控制、测试和安全评估。模型完整性和来源的信任将是一个新前沿。
- 为AI生成的漏洞利用做准备：AI很快将使初级攻击者能够发现零日漏洞。组织应重新思考漏洞管理和威胁建模。
6. 乐观与机遇
尽管存在担忧，小组成员表达了希望。AI可以帮助防御者变得更快速、更高效和更具创造力——尤其是在威胁检测和修复方面。Rob Ragan将其描述为一种“超能力”，使安全团队能够以更少的资源做更多的事情。
小组成员
- Caleb Sima – CSA AI安全倡议主席
- Rob Ragan – Bishop Fox首席技术策略师
- Stephen Thoemmes – Snyk开发者倡导者
- Erich Kron – KnowBe4安全意识倡导者