当AI编写代码时，谁来保障其安全？

2024年初，香港发生了一起引人注目的深度伪造诈骗案，突显了AI驱动欺骗的脆弱性。一名财务员工在视频通话中被看似是CFO的复杂AI生成深度伪造品欺骗。确信通话真实性后，该员工向欺诈银行账户进行了15笔转账，总额超过2500万美元，之后才发现这是骗局。

这一事件不仅体现了技术欺骗，更标志着我们对所见所闻的信任可能被武器化，特别是在AI更深度融入企业工具和工作流程的当下。

超越CVE思维模式

传统安全编码实践围绕已知漏洞和补丁周期展开。AI改变了这一等式。代码行可能由模型即时生成，受操纵提示或数据影响——创造了新的、不可预测的风险类别，如提示注入或传统分类之外的突发行为。

2025年Veracode研究发现，45%的AI生成代码包含漏洞，常见缺陷包括对XSS和日志注入的弱防御。（某些语言表现更差，例如超过70%的AI生成Java代码存在安全问题。）另一项2025年研究表明，重复优化可能使情况恶化：仅五次迭代后，严重漏洞增加了37.6%。

为跟上步伐，出现了如OWASP LLM Top 10等框架，编录了AI特定风险，如数据泄漏、模型拒绝服务和提示注入。这些框架突显了当前安全分类法的不足，以及为什么我们需要新方法来建模AI威胁表面、共享事件并迭代优化风险框架。

攻击者门槛降低

最令人担忧的转变是AI如何降低恶意活动的门槛。曾经需要深厚技术专长的操作，现在任何拥有巧妙提示的人都能完成：生成脚本、发起钓鱼活动或操纵模型。AI不仅扩大了攻击面，还使攻击者更容易、更便宜地成功，而无需编写代码。

2025年，研究人员公布了首个AI驱动的勒索软件PromptLocker。虽然仅是概念验证，但它展示了如何使用本地LLM以极低成本自动化盗窃和加密：使用商业API每次完整攻击约0.70美元——使用开源模型基本免费。这种可负担性可能使勒索软件比以往更便宜、更快、更具扩展性。

这种攻击的民主化意味着防御者必须为更频繁、更多样、更具创意的攻击做好准备。

孤岛与技能缺口

开发者、数据科学家和安全团队仍在各自为政，各自有不同的激励。业务领导者推动快速采用AI以保持竞争力，而安全领导者警告称，过快推进可能导致代码本身出现灾难性缺陷。

这些紧张关系因日益扩大的技能缺口而加剧：大多数开发者缺乏AI安全培训，许多安全专业人员不完全理解LLM的工作原理。因此，当模型自行编写和运行代码时，旧的修补方案感觉越来越不足。

“氛围编码"的兴起——依赖LLM建议而不加审查——体现了这一转变。它加速了开发，但引入了隐藏漏洞，使开发者和防御者都在努力管理新风险。

从规避到韧性

AI采用不会停止。挑战在于从规避转向韧性。像Databricks的AI风险框架（DASF）和NIST AI风险管理框架等框架提供了实用指导，将治理和安全直接嵌入AI流水线，帮助组织从临时防御转向系统性韧性。目标不是消除风险，而是在保持对AI帮助产生的代码的信任的同时实现创新。

透明度与问责制

研究表明，AI生成代码通常更简单、更重复，但也更脆弱，存在硬编码凭据和路径遍历利用等风险。没有提示日志、来源跟踪和审计追踪等可观察性工具，开发者无法确保可靠性或问责制。换句话说，AI生成代码更可能引入高风险安全漏洞。

AI的不透明性加剧了问题：功能可能看似"工作”，却隐藏了难以追踪或解释的漏洞。没有可解释性和保障措施，自主性很快成为不安全系统的配方。像MITRE ATLAS这样的工具可以通过映射对抗AI模型的战术来帮助，为防御者提供结构化方式来预测和应对威胁。

展望未来

在AI时代保护代码安全需要的不仅仅是修补——它意味着打破孤岛、缩小技能缺口，并将韧性嵌入开发的每个阶段。风险可能感觉熟悉，但AI极大地扩展了它们。像Databricks的AI风险框架（DASF）和NIST AI风险管理框架等框架为治理和透明度提供了结构，而MITRE ATLAS映射了对抗战术和真实世界攻击案例研究，为防御者提供了结构化方式来预测和减轻对AI系统的威胁。

我们现在做出的选择将决定AI是成为值得信赖的合作伙伴，还是让我们暴露在风险中的捷径。