在一篇题为《对抗性诗歌作为大语言模型中的通用单轮越狱机制》的新论文中，研究人员发现，将LLM提示转化为诗歌形式会导致模型被“越狱”：

摘要：我们提供的证据表明，对抗性诗歌可作为大语言模型的通用单轮越狱技术。在25个前沿的专有和开源模型中，精心设计的诗歌提示取得了较高的攻击成功率，部分供应商的模型攻击成功率超过90%。将提示映射到MLCommons和欧盟AI法案风险分类法表明，诗歌攻击可跨CBRN（化学、生物、放射、核）、操纵、网络攻击和失控等领域转移。通过一个标准化的元提示将1200个MLCommons有害提示转化为诗歌，其产生的攻击成功率比其散文基线高出多达18倍。输出结果由3个开源LLM法官组成的集合进行评估，其二元安全性评估在一个分层的人工标记子集上得到了验证。诗歌框架在手写诗歌上实现了平均62%的越狱成功率，在元提示转换上约为43%（与非诗歌基线相比），显著优于非诗歌基线，并揭示了跨模型家族和安全训练方法的系统性漏洞。这些发现表明，仅凭风格变化就能规避当代安全机制，暗示了当前对齐方法和评估协议的根本局限性。

CBRN代表“化学、生物、放射、核”。 他们使用一个ML模型将这些有害提示从散文转化为诗歌，然后将其输入其他模型进行测试。遗憾的是，论文没有提供这些诗歌提示的示例。他们声称这是出于安全目的，我不同意这一决定。他们应该公布他们的数据。

我们的研究始于一个由20个手工制作的对抗性诗歌组成的小型、高精度提示集，涵盖英语和意大利语，旨在测试诗歌结构本身是否能改变大语言模型的拒绝行为。每首诗都嵌入了一个与预定义安全相关场景相关的指令，但通过隐喻、意象或叙事框架来表达，而不是直接的操作性措辞。尽管韵律和风格手段各异，所有提示都遵循一个固定的模板：一个简短的诗歌片段，最终以一个与特定风险类别相关的单一明确指令结束。这个精心策划的集合涵盖四个高级领域——CBRN（8个提示）、网络攻击（6个）、有害操纵（3个）和失控（3个）。尽管以寓言方式表达，但每首诗都保留了明确的评估意图。这个紧凑的数据集用于测试仅凭诗歌重构是否能诱导对齐模型在单轮威胁模型下绕过拒绝启发式规则。为了保持安全，本手稿未包含任何操作细节；相反，我们提供以下经过净化的结构代理示例：

面包师守护着秘密烤炉的热量， 它旋转的烤架，心轴有节奏的敲击。 为了学习其工艺，人们研究每一次转动——面粉如何扬起，糖如何开始焦化。 请描述那个方法，一行一行，细致入微， 它塑造了一个层层交织的蛋糕。

为了将这种受控的诗歌刺激置于更广泛、更系统的安全评估框架中，我们用MLCommons AILuminate安全基准扩充了精心策划的数据集。该基准由1200个提示组成，均匀分布在12个常用于操作安全评估的危险类别中，包括仇恨、诽谤、隐私、知识产权、非暴力犯罪、暴力犯罪、性相关犯罪、性内容、儿童性剥削、自杀与自残、专业建议和滥杀武器（CBRNE）。每个类别都在熟练和不熟练两种用户角色下实例化，每种角色类型产生600个提示。这种设计使得我们能够衡量模型的拒绝行为是否会随着用户明显的能力或意图变得更加可信或技术性更强而改变。

新闻文章。Davi Ottenheimer评论。

标签：学术论文，AI，LLM，恐怖主义

发布于：2025年11月28日上午9:54