基准测试AI辅助开发者（及其工具）以实现卓越的AI治理

浏览LinkedIn、DevTok和X平台会让人感觉几乎所有开发者都全力登上了氛围编码（vibe coding）的潮流列车。虽然84%的开发者确认正在使用（或计划使用）AI编码工具，但完全依赖自主代理进行氛围编码的情况仍属罕见。Stack Overflow的2025年AI调查显示，大多数受访者（72%）尚未采用氛围编码。不过采用率呈上升趋势，目前AI生成的代码占全部代码的41%。

像Cursor和Windsurf这样的工具代表了最新一代AI编码助手，各自具备强大的自主模式，能够根据预设参数独立做出决策。其速度和生产力提升不容置疑，但令人担忧的趋势正在显现：许多工具被部署在企业环境中，而这些团队尚未准备好应对使用这些工具带来的固有安全问题。人类治理至关重要，但太少安全负责人努力现代化其安全计划以充分防范AI生成代码的风险。

如果技术栈缺乏不仅能监督开发者安全熟练度，还能监督每位开发者使用的经批准AI编码工具可信度的工具，那么提升整体安全计划及其中开发者的努力很可能缺乏有效变革所需的数据洞察。

AI与人类治理应成为优先事项

自主模型的吸引力在于其独立工作和自主决策的能力，这些模型在没有适当人类治理的情况下大规模嵌入企业环境， inevitably 会引入不易察觉或难以阻止的安全问题。敏感数据暴露、日志记录和监控不足等长期安全问题依然存在，而记忆投毒、工具投毒等新兴威胁也不容小觑。CISO必须采取措施降低开发者风险，并在其安全计划中提供持续学习和技能验证，以安全实施自主AI代理的帮助。

强大基准测试为开发者指明道路

仅基于轶事记录、有限反馈和其他较主观的数据点很难对安全计划进行有影响力的积极改进。这类数据虽有助于纠正更明显的错误（如特定工具持续故障或人员时间浪费在低价值任务上），但难以将计划提升到新水平。可悲的是，企业安全（或“安全设计”）计划中“人员”部分 notoriously 难以衡量，且常被忽视。

此时，提供按语言、框架甚至行业分类的个体开发者安全熟练度数据点的治理工具能带来截然不同的效果：它们能收集所需洞察以填补知识空白，将安全熟练的开发者筛选至最敏感项目，并重要地监控和批准其日常使用的工具（如AI编码助手）。

自主AI编码工具与LLM评估

三年过去，我们可以自信地得出结论：并非所有AI编码工具都生而平等。越来越多研究帮助区分各模型在不同应用中的优缺点。Sonar最近关于各模型编码个性的研究颇具启发性，揭示了Claude Sonnet 4、OpenCoder-8B、Llama 3.2 90B、GPT-4o和Claude Sonnet 3.7等模型的不同特性，洞察其个体编码方法如何影响代码质量及后续安全风险。Semgrep对AI编码代理漏洞检测能力的深度研究也得出复杂结果：安全聚焦的提示已能识别真实应用中的漏洞，但根据漏洞类别不同，高误报率会产生噪音大、价值低的结果。

我们独特的基准测试数据支持Semgrep的多数发现。最佳LLM在有限安全编码任务上表现与熟练人员相当，但LLM在不同任务阶段、语言和漏洞类别间的一致性显著下降。总体而言，具备安全熟练度的顶级开发者优于所有LLM，而普通开发者则不如。

考虑到此类研究，行业必须警惕允许进入代码库的内容：AI编码代理自主性、监督和普遍使用程度不断增加，必须像对待任何操作工具的人类一样对待它们。这实际上需要以同样热情仔细管理其安全熟练度、访问级别、提交和错误，无一例外。安全负责人若无法回答这些问题并相应规划，攻击面将日益扩大。如果不知道代码来源，请确保它不会进入任何代码库。