安全攻防博弈（SecTOW）：基于强化学习的多模态模型安全迭代防御-攻击训练

摘要

多模态大语言模型（MLLMs）的快速发展在各种应用中带来了突破，但其安全性仍然是一个关键挑战。一个紧迫的问题涉及不安全的图像-查询对——这些专门设计的越狱输入旨在绕过安全约束并引发MLLMs的意外响应。与通用多模态数据相比，此类不安全输入相对稀疏，这限制了开发鲁棒防御模型可用训练样本的多样性和丰富性。同时，现有的防护栏型方法依赖外部模块来强制执行安全约束，但未能解决MLLMs内部的内在漏洞。另一方面，传统的监督微调（SFT）经常过度拒绝无害输入，损害通用性能。鉴于这些挑战，我们提出了安全攻防博弈（SecTOW），一种创新的迭代防御-攻击训练方法，以增强MLLMs的安全性。

SecTOW包含两个模块：防御者和辅助攻击者，两者均使用强化学习（GRPO）进行迭代训练。在迭代过程中，攻击者识别防御模型中的安全漏洞并扩展越狱数据。扩展的数据随后用于训练防御者，使其能够解决已识别的安全漏洞。我们还设计了用于GRPO的奖励机制，以简化响应标签的使用，减少对复杂生成标签的依赖，并实现合成数据的高效利用。此外，采用质量监控机制来减轻防御者对无害输入的过度拒绝，并确保攻击者生成的越狱数据的多样性。在安全特定和通用基准测试上的实验结果表明，SecTOW在保持通用性能的同时显著提高了安全性。

评论

10页，4张图

主题

密码学与安全（cs.CR）；人工智能（cs.AI）

引用

arXiv:2507.22037 [cs.CR]
(或此版本的 arXiv:2507.22037v1 [cs.CR])
https://doi.org/10.48550/arXiv.2507.22037

提交历史

来自：Shixuan Liu [查看电子邮件] [v1]
2025年7月29日星期二 17:39:48 UTC (22,983 KB)