https://blog.qife122.com/tags/%E6%BB%A5%E7%94%A8%E6%A3%80%E6%B5%8B/ Recent content in 滥用检测 on 办公AI智能小助手 Hugo zh-cn qife Mon, 08 Sep 2025 00:25:50 +0800 https://blog.qife122.com/p/%E6%BB%A5%E7%94%A8%E6%A3%80%E6%B5%8B%E7%9A%84%E6%83%A8%E7%97%9B%E6%95%99%E8%AE%AD%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9B%91%E7%9D%A3%E7%B3%BB%E7%BB%9F%E7%9A%84%E8%84%86%E5%BC%B1%E6%80%A7%E6%9A%B4%E9%9C%B2/ Mon, 08 Sep 2025 00:25:50 +0800 https://blog.qife122.com/p/%E6%BB%A5%E7%94%A8%E6%A3%80%E6%B5%8B%E7%9A%84%E6%83%A8%E7%97%9B%E6%95%99%E8%AE%AD%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9B%91%E7%9D%A3%E7%B3%BB%E7%BB%9F%E7%9A%84%E8%84%86%E5%BC%B1%E6%80%A7%E6%9A%B4%E9%9C%B2/ <h1 id="滥用检测的惨痛教训">滥用检测的惨痛教训</h1> <p>先前关于越狱检测的研究确立了对抗鲁棒性对LLM的重要性，但主要关注模型抵抗对抗输入和输出安全内容的能力，而非外部监督系统的有效性。迄今为止唯一公开独立的防护栏基准测试仅在有限场景下评估了少量监督系统。因此，尚无全面的公开基准验证市场监督系统在现实多样化攻击下的表现。</p>