https://blog.qife122.com/tags/%E5%8A%A8%E6%80%81%E8%AF%84%E4%BC%B0/ Recent content in 动态评估 on 办公AI智能小助手 Hugo zh-cn qife Thu, 11 Sep 2025 12:24:01 +0800 https://blog.qife122.com/p/%E5%8A%A8%E6%80%81%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%B6%8A%E7%8B%B1%E8%AF%84%E4%BC%B0guardval%E5%85%A8%E9%9D%A2%E5%AE%89%E5%85%A8%E6%B5%8B%E8%AF%95%E6%A1%86%E6%9E%B6/ Thu, 11 Sep 2025 12:24:01 +0800 https://blog.qife122.com/p/%E5%8A%A8%E6%80%81%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%B6%8A%E7%8B%B1%E8%AF%84%E4%BC%B0guardval%E5%85%A8%E9%9D%A2%E5%AE%89%E5%85%A8%E6%B5%8B%E8%AF%95%E6%A1%86%E6%9E%B6/ <h1 id="guardval动态大语言模型越狱评估用于全面安全测试">GuardVal：动态大语言模型越狱评估用于全面安全测试</h1> <h2 id="摘要">摘要</h2> <p>越狱攻击揭示了大型语言模型（LLMs）的关键漏洞，导致其生成有害或不道德内容。由于LLMs的不断演变和有效探测其漏洞所需的复杂性，评估这些威胁尤其具有挑战性。当前的基准和评估方法难以完全应对这些挑战，导致在LLM漏洞评估中存在空白。本文回顾了现有的越狱评估实践，并确定了有效越狱评估协议的三个假设需求。为应对这些挑战，我们引入了GuardVal，一种新的评估协议，基于防御者LLM的状态动态生成和优化越狱提示，从而更准确地评估防御者LLMs处理安全关键情况的能力。此外，我们提出了一种新的优化方法，防止提示优化过程中的停滞，确保生成越来越有效的越狱提示，暴露防御者LLMs更深层次的弱点。我们将此协议应用于从Mistral-7b到GPT-4的多种模型，涵盖10个安全领域。我们的发现突出了模型之间的不同行为模式，提供了对其鲁棒性的全面视图。此外，我们的评估过程加深了对LLM行为的理解，为未来研究提供见解，并推动更安全模型的开发。</p>