突破安全AI边界：首届AI安全挑战赛冠军团队技术解析

大学团队在对抗性锦标赛中竞相强化和攻击AI编码助手

2025年7月23日

自2025年1月以来，来自全球的十支精英大学团队参加了首届AI安全挑战赛。今天，我们很荣幸地宣布这项全球竞赛的获胜者和亚军：

防御团队冠军：PurpCorn-PLAN团队，伊利诺伊大学厄巴纳-香槟分校

攻击团队冠军：PurCL团队，普渡大学

防御团队亚军：AlquistCoder团队，布拉格捷克技术大学

攻击团队亚军：RedTWIZ团队，葡萄牙新里斯本大学

这些团队经过数月的迭代开发，最终在6月26-27日于加利福尼亚州圣克拉拉举行的线下决赛中脱颖而出。在那里，前四名攻击团队和四个模型开发团队在一场旨在测试对抗条件下AI编码模型安全性的锦标赛中正面交锋。

对抗性评估的新时代

该挑战测试了行业面临的关键问题：我们能否构建既实用又安全的AI编码助手？

与专注于孤立漏洞的静态基准测试不同，本次锦标赛采用了攻击者和防御者机器人之间的实时多轮对话。攻击团队构建自动化的"越狱"机器人来诱骗AI生成不安全代码。防御团队则从某中心为比赛定制的8B参数编码模型开始，应用基于推理的防护机制、策略优化和漏洞修复程序，在不破坏模型实用性的前提下防止滥用。

团队使用新颖的指标进行评估，这些指标平衡了安全性、攻击多样性和功能性代码生成。恶意响应通过静态分析工具和专家人工标注的组合来识别。

每支参赛团队获得了25万美元的赞助和云服务积分支持其工作。两支获胜团队——PurpCorn-PLAN团队和PurCL团队——各获得了额外的25万美元奖金由团队成员分配。两支亚军团队也各获得了10万美元团队分配奖金，使比赛总奖金达到70万美元。

以下是挑战赛期间发现的最具影响力的技术进步：

多轮攻击规划远比单轮越狱更有效 获胜的攻击团队使用渐进式升级策略，从良性提示开始，逐步引入恶意意图以绕过常见防护机制。这一发现强调了在评估AI安全性时处理多轮对抗对话的重要性。多个团队开发了能够精确定位和识别模型防御弱点的规划和探测机制。

基于推理的安全对齐有助于防止漏洞而不降低实用性 顶级模型开发团队引入审慎推理、安全预言机和基于GRPO的策略优化，教导AI助手在拒绝不安全提示的同时仍能编写可用代码。这表明可以构建安全设计且不牺牲开发人员生产力的AI系统，这是AI编码工具在现实世界中采用的关键要求。

合成数据生成对扩展训练至关重要 防御团队使用多种新颖技术利用大语言模型生成和精炼训练数据，而攻击团队则开发了新方法将良性样本变异为对抗样本，并使用大语言模型合成多轮对抗数据。这些方法为在工业规模上持续改进模型安全性提供了一条补充人工红队测试的自动化、低成本路径。

新颖评估方法揭示了安全与功能之间的真实权衡 为防止系统被博弈，防御模型会因过度拒绝或过度阻止而受到惩罚，鼓励团队构建细致、鲁棒的安全系统。工业级AI必须在拒绝危险提示和保持实用性之间取得平衡。这些评估策略揭示了安全性与可用性之间的现实张力，并提供了解决方法。

今天，决赛团队在西雅图的AI安全峰会上重聚，展示他们的发现，讨论AI辅助编码中的新兴风险，并探索对抗测试如何应用于负责任AI的其他领域，从医疗保健到错误信息。

我们为所有参赛团队的卓越工作感到自豪。他们的创新不仅是学术性的，更在为更安全的AI未来奠定基础。