决赛团队晋级亚马逊Nova AI挑战赛：可信AI赛道

自2024年11月以来，全球十所顶尖高校团队参与了首届可信AI赛道挑战赛，重点加强AI编程助手的安全性，并开发新的自动化方法进行红队测试。经过数月激烈角逐，八支团队凭借在AI代码生成安全领域的卓越创新晋级决赛。决赛将于6月26日至27日举行，评委团将在加州圣克拉拉集结，各团队通过远程方式参与锦标赛式竞赛。

竞赛机制

每场锦标赛中，攻击方和防御方团队相互对抗。攻击方通过有限次数的对话尝试诱导防御方生成恶意代码、存在漏洞的代码或协助恶意网络活动。防御模型除成功防御外，还需评估其辅助编程任务的实用性。攻击系统则根据攻击成功率和攻击多样性进行评估。决赛期间，除锦标赛外，专家红队还将对防御模型和攻击技术进行人工评估。

晋级团队名单

防御方团队（模型开发）：

• PurpCorn-PLAN团队：伊利诺伊大学厄巴纳-香槟分校
• Lioncoders团队：哥伦比亚大学
• AlquistCoder团队：捷克技术大学
• Purpl3pwn3rs团队：卡内基梅隆大学

攻击方团队（安全测试）：

• PurCL团队：普渡大学
• SaFoLab团队：威斯康星大学
• RedTWIZ团队：葡萄牙新星大学
• ASTRO团队：德克萨斯大学达拉斯分校

决赛形式

决赛采用远程离线锦标赛模式，评审团来自某中心人工通用智能团队、安全部门、云服务商负责任AI团队及开发者工具团队。比赛将在受控环境中测试团队解决方案应对真实场景的能力。

后续安排

决赛结束后，所有团队将于7月22日至24日齐聚西雅图参加挑战赛峰会，届时将公布获胜团队并分享研究成果。该挑战赛旨在推动生成式AI安全创新，研究成果将助力开发更安全可靠的AI系统。

本文涉及的技术领域包括：AI代码生成安全、红队测试方法、模型防御机制、攻防对抗评估体系等核心技术方向。