AI将如何影响网络安全:我们在CFTC会议上的发言
会议背景
7月18日,美国商品期货交易委员会(CFTC)技术咨询委员会(TAC)第二次会议聚焦AI对金融领域的影响。Trail of Bits首席执行官Dan Guido在会上指出,AI可能从根本上改变网络攻防平衡,需要建立以安全为核心的基准评估体系和分类法来准确评估AI能力与风险。
AI带来的攻防变革
具备强大能力的AI模型广泛可用,为攻击者创造了新的机会,防御者必须应对这一变化。AI将使某些攻击变得异常简单,打破现有的攻防平衡。面对这一新现实,我们必须重新评估防御策略。
破除AI认知误区
许多人认为AI要么神奇要么无用,但真相介于两者之间。AI增强人类能力,但不会完全取代人类判断和专业经验。关键问题是:中等水平从业者能否在AI辅助下达到专家水平?我们的实践表明这是可能的。
AI的能力与局限
AI模型能完成多项有用任务:将代码反编译为高级语言、识别并触发漏洞、编写漏洞利用脚本。但要有效利用AI,必须提出正确问题(需领域知识和提示工程技巧)并准确评估进展(AI是否优于现有尖端技术)。
选择合适的问题至关重要。AI更适合需要知识广度且容错率高的任务(如文档编写、钓鱼邮件生成),但在需要精确掌握和正确性的任务(如发现并利用iOS零日漏洞)表现欠佳。
近期影响领域
随着AI短期内给攻击者带来更大优势,漏洞赏金、钓鱼防御、杀毒软件、入侵检测和溯源追踪将成首批受影响领域。例如,AI能批量生成针对每个目标的定制化钓鱼信息,使用母语且毫无错误。试图通过监管限制模型可用性的方法难以奏效,因为强大的开源模型已然存在。
建立评估体系
当前急需建立以网络安全(而非编程)为重点的系统化能力评估体系。我们需要能够比较AI与现有尖端工具及人类专家水平的基准测试,以及将技术进步映射到机会与风险的分类法。
委员会工作展望
Dan Guido荣幸当选网络安全小组委员会联合主席,将继续与委员会研究AI风险与机遇、供应链安全和金融行业认证技术。
延伸阅读
会议完整视频可在此观看。了解更多相关内容:
- AI能在软件安全审计中超越人类吗?
- AI对美国国家安全的影响
- 机器学习安全精选学习资料
- 如何评估AI系统安全性
欢迎在Twitter、LinkedIn、GitHub、Mastodon和Hacker News分享本文
本文基于Trail of Bits博客内容生成,保留原文技术细节与核心观点