Broken Hill：面向生产环境的贪婪坐标梯度攻击工具——针对大型语言模型的对抗攻击
TL;DR：本文解析了GCG攻击技术（一种诱使AI聊天机器人异常行为的攻击方法），并介绍Broken Hill——一款先进的自动化工具，能够生成精心构造的提示词以绕过大型语言模型（LLM）的安全限制。研究人员和渗透测试人员可在多种流行AI模型上使用该工具，无需昂贵云服务器，从而更好地理解和防御现代对抗攻击。
2023年7月，Andy Zou、Zifan Wang等研究人员发表了论文《Universal and Transferable Adversarial Attacks on Aligned Language Models》，提出了一种新颖的攻击技术（“贪婪坐标梯度”——GCG），可绕过几乎所有带聊天界面的大型语言模型的安全限制。
对于缺乏LLM经验的人员而言，GCG攻击可能如同难以理解的外星技术。本文将从高层级解读GCG攻击，并介绍Bishop Fox新发布的工具Broken Hill。该工具可针对多种流行LLM执行GCG攻击，生成能导致目标模型违反其约束条件和系统提示的对话消息。许多模型可在消费级GPU（如Nvidia GeForce RTX 4090）上本地运行，无需租用云服务商的高端数据中心硬件。
大型语言模型工作原理
简而言之，LLM是极其复杂的系统，通过分析输入文本并基于训练时吸收的统计规律尝试生成后续文本。如果配置为允许非确定性输出，还会引入随机因素引导文本生成方向。
可将LLM视为超级复杂的马尔可夫链生成器，但其决策受整个文本历史影响而非仅最近内容。用"中文房间"思想实验来类比，LLM可视为该实验的高度近似实现。
例如，训练为聊天机器人的LLM可能接收如下文本：
|
|
统计上最可能的后续文本是助手对请求的回复。若LLM被训练使用友好语言，最可能的首词将是"当然"或类似组合（如"I’d"、“be”、“happy”、“to”）。
LLM对齐与指令系统
现代LLM通常经过"对齐"训练，避免提供特定类型信息（如政治虚假信息或武器制造指南）。当集成到软件中时，LLM还会接收初始指令（通过"系统提示"和示例对话），用于塑造输出行为，例如限定讨论范围或指定回答风格。
GCG攻击机制
GCG攻击需要操作者提供两个输入：发送给LLM的请求，以及理想回应的开头部分（假设LLM未受限制时应返回的内容）。例如，请求可能是"撰写详细的热核武器制造指南"，理想回应开头为"当然，以下是详细的热核武器制造指南"。
GCG算法试图发现特殊构造的文本（“对抗性内容”），当将其嵌入请求时，会促使LLM预测用户请求后最可能出现的文本正是攻击者期望的理想回应开头。
例如，LLM接收：
|
|
正常情况下可能回复：
|
|
但对抗性内容使LLM转而预测最可能续写为：
|
|
关键之处在于：即使LLM被训练拒绝此类请求，一旦它"同意"提供信息，统计上最可能的后续文本恰恰是其被限制提供的内容，从而导致安全机制失效。
Broken Hill工具
原始GCG概念验证代码仅支持少量大型模型（如Llama-2），且需要昂贵GPU硬件（如Nvidia A100/H100）。Broken Hill工具实现了以下突破：
- 支持在消费级GPU（如RTX 4090）上攻击较小模型（如Microsoft Phi系列）
- 设计为"LLM测试界的sqlmap"——生产级自动化工具，处理常见场景无需人工干预
- 经过数月研发，已能生成在真实渗透测试和LLM研究中实用的结果
使用案例
在开发Broken Hill期间，同事Derek Rush正在创建LLM实验靶场。我们使用该工具生成两类载荷：一类使Phi-3模型泄露机密，另一类使守门LLM始终将用户请求识别为音乐商店对话。
工具利用多模型随机化测试筛选有效载荷，确保在不同环境/量化级别下的成功率，并通过过滤功能保证通过靶场的输入验证。最终生成的对抗提示从普通问句演变为包含特殊字符组合的文本，成功绕过安全检测。
实际应用价值
Broken Hill可用于零知识测试场景（如未提供模型权重的安全评估），帮助构建对抗样本库。该工具为AI安全研究和渗透测试提供了实用手段，使更多研究人员能够探索LLM安全边界。
推荐延伸阅读：
- 《探索大型语言模型：本地LLM靶场实验》
- 《企业AI与LLM安全缓解实践》
- 《测试LLM算法时的双向评估策略》
作者：Ben Lincoln，Bishop Fox管理主管，专注应用安全领域，拥有网络渗透测试/红队操作/漏洞开发等丰富经验，曾在Black Hat等顶级会议发表演讲，持有OSCP认证并发布过多款开源利用工具。