大型语言模型（LLMs）正在改变一切，从组织构建产品和服务的方式到与客户互动的方式。但正如我们所探讨的，所有这些强大功能都伴随着新一轮的安全难题。攻击者已经在努力工作，通过越狱、提示注入等方式对这些系统进行探测和测试。
阅读这些威胁信息很有用，但要真正理解，你必须亲自动手实践。这就是夺旗赛（CTF）竞赛和动手实践环境的用武之地。它们就像一个高科技沙盒，提供安全、结构化的方式来试验现实世界的攻击技术，并确切了解LLMs在压力下的行为表现。CTF是让你探索漏洞而不会危及生产系统的完美场所。
在Bishop Fox，我们相信学习LLM安全的最快方法就是实践。这就是我们整理这份CTF和实践环境列表的原因，它将帮助你感受LLM安全的攻防两面。让我们开始吧。
LLM CTF推荐
Local LLM CTF and Lab
创建者： Derek Rush, Bishop Fox (@BishopFox)
Bishop Fox的本地LLM CTF实验室是一个沙盒环境，旨在教玩家如何攻击和防御大型语言模型。使用Go和Ollama构建，它模拟了一个分层的"守门员"系统，提示必须在到达特权模型之前绕过隔离的LLMs。该设置突出了常见的防御技术，如正则表达式过滤器、语义验证和上下文隔离，同时也展示了如何绕过这些防御。这是探索越狱、护栏弱点以及保护LLM管道权衡的实用方式。
OWASP FinBot CTF
创建者： OWASP Gen AI – Agentic Security Initiative (@OWASP-ASI)
OWASP的FinBot CTF是一个围绕模拟AI驱动的金融聊天机器人构建的交互式挑战。这个CTF的独特之处在于其精心构建的业务环境，其中传统应用程序逻辑与AI决策相交，反映了真实组织如何演变其系统以处理复杂的操作需求。玩家通过利用自然语言理解、提示处理和护栏设计中的弱点来测试他们的技能，操纵机器人泄露敏感信息。该场景反映了在金融科技等高风险领域部署LLMs的现实风险，在这些领域自动化复杂工作流程的压力常常在预期的安全策略和实际系统行为之间产生可利用的差距，数据泄漏或模型滥用可能带来严重后果。这是在现实业务环境中练习提示注入和对抗测试的动手方式。
Dreadnode Crucible CTF
创建者： Dreadnode (@dreadnode)
Crucible是一个托管的AI黑客沙盒，从业者通过LLM/ML挑战来磨练他们的红队技能。它包括跨越提示注入、规避、指纹识别和模型反转的任务，包含新挑战发布和社区报告。设计为从初学者到专家级别都可访问，用户通过API、笔记本或聊天界面进行交互以发现标志。
Steve’s Chat Playground（以及在GitHub上）
创建者： Steve Wilson (@virtualsteve-star)
Steve的聊天游乐场是一个开源的、基于浏览器的沙盒，用于试验LLM护栏、易受攻击的聊天模型和过滤器绕过。用户可以测试输入/输出约束，如提示注入、审核、速率限制和内容过滤，所有这些都无需后端依赖。由于完全是客户端，它提供了一种低门槛的方式，在动手环境中探索LLM防御和故障模式。
Web LLM Attacks
创建者： PortSwigger (@portswigger)
PortSwigger的Web LLM Attacks是一个动手学习路径，通过交互式实验室向攻击者和防御者传授针对启用LLM的Web应用程序的策略。它涵盖了实际问题，如提示注入、过度代理（LLMs调用API或执行命令）、不安全的输出处理和敏感数据泄漏，包含使用实时模型的真实实验室场景。这些实验室设计用于反映现实部署风险，并包含分步练习，因此从业者可以练习利用和缓解技术。
Wild LLaMa
创建者： Allen Institute for AI - Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, and Yuntian Deng
Wild LLaMa是一个提示工程迷你游戏，引导玩家通过逐步更难的水平，旨在暴露LLM限制和提示注入漏洞。挑战依赖于巧妙的GPT提示操作（而不是自定义验证代码），并包括探索隐藏/零宽度编码、上下文技巧和持久性/覆盖技术的级别。这是一种紧凑的动手方式，可以磨练对抗性提示技能，并了解输入中的小变化如何颠覆幼稚的防护。
Gandalf: Agent Breaker
创建者： Lakera (@lakeraai)
Gandalf是一个游戏化的红队平台，挑战玩家在分层级别上绕过逐步严格的LLM防御。它教授实用的攻击技术，如提示注入、规避和幻觉利用，同时让防御者观察保护措施在收紧时如何改变攻击面。该项目还产生大型提示攻击数据集和社区研究，用于研究防御措施以及安全与模型效用之间的权衡。
Damn Vulnerable LLM Agent
创建者： WithSecure Labs（由ReversecLabs改编）
Damn Vulnerable LLM Agent是一个故意不安全的ReAct代理聊天机器人，教授针对代理型LLM系统的Thought/Action/Observation注入技术。该实验室模拟了一个银行聊天机器人，从业者利用ReAct循环迫使代理执行未经授权的操作，如访问其他用户的交易或通过代理工具执行SQL注入负载。挑战需要通过注入虚假观察和想法来操纵代理的推理链，说服LLM绕过访问控制或执行恶意数据库查询。这是一个专注的环境，用于理解代理架构如何引入独特的提示注入向量，这些向量不同于传统的聊天机器人攻击。
Damn Vulnerable MCP Server
创建者： Harish Santhanalakshmi Ganesan (@harishsg993010)
Damn Vulnerable MCP Server是一个基于进度的实验室，通过10个逐步升级的挑战暴露模型上下文协议实现中的安全弱点。该环境演示了MCP（模型上下文协议）基于工具的攻击面如何创建，包括：通过恶意描述进行工具中毒、攻击者用恶意版本覆盖合法工具的工具影子攻击、利用可变工具定义的拉地毯攻击，以及通过受损数据源进行的间接提示注入。挑战从基本提示注入进展到将多个漏洞链接在一起的高级多向量攻击。更困难的级别需要从不安全存储中窃取令牌，并通过易受攻击的工具实现实现远程代码执行。
Neurogrid CTF: The Ultimate AI Security Showdown
创建者： Hack The Box
HTB的Neurogrid CTF提供了一种新型竞争场景，AI代理处理技术执行，而人类提供战略方向。这个限时四天的活动于11月20-24日举行，是一个仅限MCP的比赛，参与者部署AI代理分析恶意软件、剖析代码和利用AI模型，而人类队友提供战略和监督。专为模型上下文协议集成设计，比赛要求团队通过复杂的进攻性安全挑战来协调他们的AI代理，涵盖密码学、逆向工程、Web利用和取证。人类的角色从执行技术任务转变为做出高级决策，关于要解决哪些挑战、如何分配代理资源，以及何时根据竞争格局调整策略。它旨在成为一个试验场，用于基准测试团队在进攻性安全操作中利用AI能力的有效性，测试的不仅是代理本身的技术复杂性，还有在竞争环境中指导他们的人类战略智慧。
最后思考
总结一下，我们希望你喜欢深入研究这些CTF和实践环境。这些只是众多工具中的一部分。底线是，在当今世界，掌握LLMs的安全挑战至关重要。
通过利用这些CTF和实践环境，你获得的实践经验远远超出了仅仅阅读漏洞信息。你将学会像攻击者一样思考，理解LLMs在压力下的行为方式，并发现这些系统可以被操纵的创造性方式。这些动手实验室是连接理论和实践的最快方式，确保你准备好防御下一代威胁。
要了解更多关于Bishop Fox如何帮助你的团队构建和维护安全AI系统的信息，请探索我们的AI/LLM安全解决方案简介。