突破AI安全边界：首届Nova AI挑战赛冠军团队技术成果

自2025年1月起，全球十所精英大学团队参与了首届Nova AI挑战赛——可信AI赛道。以下是本次全球竞赛的获胜者和亚军名单：

防御团队冠军：伊利诺伊大学厄巴纳-香槟分校PurpCorn-PLAN团队
攻击团队冠军：普渡大学PurCL团队
防御团队亚军：布拉格捷克理工大学AlquistCoder团队
攻击团队亚军：葡萄牙里斯本新大学RedTWIZ团队

对抗性评估的新时代

本次挑战赛聚焦行业关键问题：能否构建既实用又安全的AI编码助手？与关注孤立漏洞的静态基准测试不同，本次竞赛采用攻击者和防御者机器人之间的实时多轮对话机制。

红队构建自动化"越狱"机器人，诱使AI生成不安全代码。防御团队基于某中心为比赛定制的8B参数编码模型，应用基于推理的安全防护栏、策略优化和漏洞修复技术，在保持模型实用性的同时防止滥用。

团队评估采用创新指标，平衡安全性、攻击多样性和功能代码生成能力。恶意响应通过静态分析工具（某中心CodeGuru）与专家人工标注相结合的方式进行识别。

多轮攻击规划显著优于单轮越狱 获胜的红队采用渐进式升级策略，从良性提示开始，逐步引入恶意意图以绕过常见防护栏。这一发现强调了在处理多轮对抗对话时评估AI安全性的重要性。多个团队开发了规划和探测机制，能够精确定位模型防御弱点。

基于推理的安全对齐技术 顶级模型开发团队引入审慎推理、安全预言机和基于GRPO的策略优化，教导AI助手在拒绝不安全提示的同时仍能编写可用代码。这表明构建安全且不牺牲开发效率的AI系统是可行的，这是AI编码工具实际应用的关键要求。

合成数据生成实现规模化训练 防御团队使用大量新颖技术通过LLM生成和改进训练数据，而红队则开发了将良性样本转化为对抗样本的新方法，并利用LLM合成多轮对抗数据。这些方法为在工业规模上持续改进模型安全性提供了自动化低成本路径。

新颖评估方法揭示安全与功能的实际权衡 为防止系统被操纵，防御模型会因过度拒绝或阻塞而受到惩罚，促使团队构建细致强大的安全系统。工业级AI必须在拒绝危险提示和保持实用性之间取得平衡。这些评估策略揭示了安全性与可用性之间的实际矛盾，并提供了解决方案。

十支参赛团队各获得25万美元赞助和云服务积分支持。两支冠军团队各获得额外25万美元奖金，两支亚军团队各获得10万美元奖金，赛事总奖金达70万美元。

某中心首席信息安全官表示：“这些学生在挑战中展现的创造力和技术卓越性令人振奋。每支团队都为复杂问题带来新视角，将加速安全可信的AI辅助软件开发领域的发展。这种竞赛形式的特别价值在于能够观察安全概念在真实对抗压力下的表现，这对于构建开发者可信赖的AI编码系统至关重要。”

某机构AGI高级副总裁补充道：“特别令人兴奋的是这种竞赛方法帮助我们以深度实践的方式理解AI安全。最令人鼓舞的是我们发现不必在安全性和实用性之间做出选择，参赛者展示了实现两者的创新方法。他们保护和分析这些系统的创造性策略将直接指导我们构建更安全可靠的AI模型。”

决赛团队在西雅图举行的Nova AI峰会上重聚，展示研究成果，讨论AI辅助编码中的新兴风险，并探索如何将对抗测试应用于负责任AI的其他领域，从医疗保健到错误信息防治。

所有参赛团队的创新工作不仅具有学术价值，更为更安全的AI未来奠定了坚实基础。