https://blog.qife122.com/tags/%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/ Recent content in 多模态大语言模型 on 办公AI智能小助手 Hugo zh-cn qife Fri, 19 Sep 2025 22:12:41 +0800 https://blog.qife122.com/p/%E5%AE%89%E5%85%A8%E6%94%BB%E9%98%B2%E6%8B%89%E9%94%AF%E6%88%98sectow%E5%9F%BA%E4%BA%8E%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%9A%84%E5%A4%9A%E6%A8%A1%E6%80%81%E6%A8%A1%E5%9E%8B%E5%AE%89%E5%85%A8%E8%BF%AD%E4%BB%A3%E9%98%B2%E5%BE%A1-%E6%94%BB%E5%87%BB%E8%AE%AD%E7%BB%83/ Fri, 19 Sep 2025 22:12:41 +0800 https://blog.qife122.com/p/%E5%AE%89%E5%85%A8%E6%94%BB%E9%98%B2%E6%8B%89%E9%94%AF%E6%88%98sectow%E5%9F%BA%E4%BA%8E%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%9A%84%E5%A4%9A%E6%A8%A1%E6%80%81%E6%A8%A1%E5%9E%8B%E5%AE%89%E5%85%A8%E8%BF%AD%E4%BB%A3%E9%98%B2%E5%BE%A1-%E6%94%BB%E5%87%BB%E8%AE%AD%E7%BB%83/ <h1 id="安全攻防拉锯战sectow基于强化学习的多模态模型安全迭代防御-攻击训练">安全攻防拉锯战（SecTOW）：基于强化学习的多模态模型安全迭代防御-攻击训练</h1> <h2 id="摘要">摘要</h2> <p>多模态大语言模型（MLLMs）的快速发展在各种应用中取得了突破性进展，但其安全性仍然是一个关键挑战。一个紧迫的问题涉及不安全的图像-查询对——这些越狱输入专门设计用于绕过安全约束并从MLLMs引发意外响应。与一般的多模态数据相比，此类不安全输入相对稀疏，这限制了可用于开发鲁棒防御模型的训练样本的多样性和丰富性。同时，现有的护栏型方法依赖于外部模块来强制执行安全约束，但未能解决MLLMs内部的内在漏洞。另一方面，传统的监督微调（SFT）通常过度拒绝无害输入，从而损害通用性能。鉴于这些挑战，我们提出了安全攻防拉锯战（SecTOW），一种创新的迭代防御-攻击训练方法，以增强MLLMs的安全性。SecTOW由两个模块组成：防御者和辅助攻击者，两者均使用强化学习（GRPO）进行迭代训练。在迭代过程中，攻击者识别防御模型中的安全漏洞并扩展越狱数据。然后，扩展的数据用于训练防御者，使其能够解决已识别的安全漏洞。我们还设计了用于GRPO的奖励机制，以简化响应标签的使用，减少对复杂生成标签的依赖，并实现合成数据的高效利用。此外，使用质量监控机制来减轻防御者对无害输入的过度拒绝，并确保攻击者生成的越狱数据的多样性。在安全特定和通用基准测试上的实验结果表明，SecTOW在保持通用性能的同时显著提高了安全性。</p> https://blog.qife122.com/p/%E7%AA%81%E7%A0%B4%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%AE%89%E5%85%A8%E9%98%B2%E6%8A%A4%E5%8D%8F%E5%90%8C%E8%A7%86%E8%A7%89%E6%89%B0%E5%8A%A8%E4%B8%8E%E6%96%87%E6%9C%AC%E5%BC%95%E5%AF%BC%E7%9A%84jps%E6%94%BB%E5%87%BB%E6%96%B9%E6%B3%95/ Fri, 19 Sep 2025 03:50:17 +0800 https://blog.qife122.com/p/%E7%AA%81%E7%A0%B4%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%AE%89%E5%85%A8%E9%98%B2%E6%8A%A4%E5%8D%8F%E5%90%8C%E8%A7%86%E8%A7%89%E6%89%B0%E5%8A%A8%E4%B8%8E%E6%96%87%E6%9C%AC%E5%BC%95%E5%AF%BC%E7%9A%84jps%E6%94%BB%E5%87%BB%E6%96%B9%E6%B3%95/ <h1 id="jps通过协同视觉扰动和文本引导越狱多模态大语言模型">JPS：通过协同视觉扰动和文本引导越狱多模态大语言模型</h1> <p>针对多模态大语言模型（MLLMs）的越狱攻击是一个重要的研究方向。当前研究主要关注最大化攻击成功率（ASR），但往往忽略了生成的响应是否真正实现了攻击者的恶意意图。这种疏忽经常导致输出质量低下：虽然绕过了安全过滤器，但缺乏实质性的有害内容。</p>