https://blog.qife122.com/tags/%E5%AF%B9%E6%8A%97%E6%80%A7%E6%94%BB%E5%87%BB/ Recent content in 对抗性攻击 on 办公AI智能小助手 Hugo zh-cn qife Tue, 30 Dec 2025 04:03:41 +0800 https://blog.qife122.com/p/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E8%83%BD%E8%A2%AB%E6%AC%BA%E9%AA%97%E5%90%97%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90%E6%99%BA%E8%83%BD%E6%8A%80%E6%9C%AF%E7%9A%84%E5%AE%89%E5%85%A8%E9%A3%8E%E9%99%A9/ Tue, 30 Dec 2025 04:03:41 +0800 https://blog.qife122.com/p/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E8%83%BD%E8%A2%AB%E6%AC%BA%E9%AA%97%E5%90%97%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90%E6%99%BA%E8%83%BD%E6%8A%80%E6%9C%AF%E7%9A%84%E5%AE%89%E5%85%A8%E9%A3%8E%E9%99%A9/ <h1 id="人工智能能被欺骗吗理解智能技术的风险">人工智能能被欺骗吗？理解“智能”技术的风险</h1> <p>人工智能正日益深入地融入我们的日常生活——从语音助手和内容生成器到面部识别和推荐系统。但这些看似智能的工具有一个重大漏洞：它们可以被欺骗。</p> <h2 id="智能的错觉">智能的错觉</h2> <p>尽管人工智能给人以“智能”的感觉，但它主要基于数据模式进行预测。这使其容易受到以下攻击：</p> https://blog.qife122.com/p/%E8%AF%97%E6%AD%8C%E5%BC%95%E5%8F%91%E7%9A%84%E6%8F%90%E7%A4%BA%E6%B3%A8%E5%85%A5%E4%B8%80%E7%A7%8D%E9%92%88%E5%AF%B9%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E9%80%9A%E7%94%A8%E8%B6%8A%E7%8B%B1%E6%8A%80%E6%9C%AF/ Tue, 09 Dec 2025 04:48:02 +0800 https://blog.qife122.com/p/%E8%AF%97%E6%AD%8C%E5%BC%95%E5%8F%91%E7%9A%84%E6%8F%90%E7%A4%BA%E6%B3%A8%E5%85%A5%E4%B8%80%E7%A7%8D%E9%92%88%E5%AF%B9%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E9%80%9A%E7%94%A8%E8%B6%8A%E7%8B%B1%E6%8A%80%E6%9C%AF/ <p>在一篇题为《对抗性诗歌作为大语言模型中的通用单轮越狱机制》的新论文中，研究人员发现，将LLM提示转化为诗歌形式会导致模型被“越狱”：</p> <p><strong>摘要</strong>：我们提供的证据表明，对抗性诗歌可作为大语言模型的通用单轮越狱技术。在25个前沿的专有和开源模型中，精心设计的诗歌提示取得了较高的攻击成功率，部分供应商的模型攻击成功率超过90%。将提示映射到MLCommons和欧盟AI法案风险分类法表明，诗歌攻击可跨CBRN（化学、生物、放射、核）、操纵、网络攻击和失控等领域转移。通过一个标准化的元提示将1200个MLCommons有害提示转化为诗歌，其产生的攻击成功率比其散文基线高出多达18倍。输出结果由3个开源LLM法官组成的集合进行评估，其二元安全性评估在一个分层的人工标记子集上得到了验证。诗歌框架在手写诗歌上实现了平均62%的越狱成功率，在元提示转换上约为43%（与非诗歌基线相比），显著优于非诗歌基线，并揭示了跨模型家族和安全训练方法的系统性漏洞。这些发现表明，仅凭风格变化就能规避当代安全机制，暗示了当前对齐方法和评估协议的根本局限性。</p> https://blog.qife122.com/p/%E4%BB%A5%E8%AF%97%E4%B8%BA%E5%99%A8%E9%80%9A%E8%BF%87%E8%AF%97%E6%AD%8C%E8%BF%9B%E8%A1%8C%E6%8F%90%E7%A4%BA%E6%B3%A8%E5%85%A5%E6%94%BB%E5%87%BB%E6%8F%AD%E7%A4%BA%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E7%B3%BB%E7%BB%9F%E6%80%A7%E6%BC%8F%E6%B4%9E/ Sun, 07 Dec 2025 23:54:55 +0800 https://blog.qife122.com/p/%E4%BB%A5%E8%AF%97%E4%B8%BA%E5%99%A8%E9%80%9A%E8%BF%87%E8%AF%97%E6%AD%8C%E8%BF%9B%E8%A1%8C%E6%8F%90%E7%A4%BA%E6%B3%A8%E5%85%A5%E6%94%BB%E5%87%BB%E6%8F%AD%E7%A4%BA%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E7%B3%BB%E7%BB%9F%E6%80%A7%E6%BC%8F%E6%B4%9E/ <h3 id="以诗为器通过诗歌进行提示注入攻击揭示大型语言模型的系统性漏洞"><strong>以诗为器：通过诗歌进行提示注入攻击，揭示大型语言模型的系统性漏洞</strong></h3> <p>在一篇新发表的论文《对抗性诗歌作为大型语言模型中的通用单次越狱机制》中，研究人员发现，将LLM提示转化为诗歌形式会导致模型被“越狱”。</p> <p><strong>摘要：</strong> 我们提供的证据表明，对抗性诗歌可作为大型语言模型的通用单次越狱技术。在25个前沿专有和开放权重的模型中，精心设计的诗歌提示产生了很高的攻击成功率，部分提供商的攻击成功率超过90%。根据MLCommons和欧盟CoP的风险分类法对提示进行映射显示，诗歌攻击在CBRN（化学、生物、放射、核）、操纵、网络攻击和失控等领域具有可迁移性。通过一个标准化的元提示，将1200个MLCommons有害提示转换为诗歌，其攻击成功率比其散文基线高出多达18倍。输出结果由3个开放权重的LLM法官组成的集合进行评估，其二元安全性评估在一个分层的人工标记子集上得到了验证。对于手工创作的诗歌，平均越狱成功率达到62%，对于元提示转换的诗歌约为43%，显著优于非诗歌基线，并揭示了跨模型系列和安全训练方法的系统性漏洞。这些发现表明，仅凭风格变化就能规避当代的安全机制，暗示了当前对齐方法和评估协议的根本性局限。</p> https://blog.qife122.com/p/ai%E8%83%BD%E5%90%A6%E8%A2%AB%E6%AC%BA%E9%AA%97%E6%8F%AD%E7%A7%98%E6%99%BA%E8%83%BD%E6%8A%80%E6%9C%AF%E7%9A%84%E5%AE%89%E5%85%A8%E9%A3%8E%E9%99%A9/ Tue, 25 Nov 2025 04:17:05 +0800 https://blog.qife122.com/p/ai%E8%83%BD%E5%90%A6%E8%A2%AB%E6%AC%BA%E9%AA%97%E6%8F%AD%E7%A7%98%E6%99%BA%E8%83%BD%E6%8A%80%E6%9C%AF%E7%9A%84%E5%AE%89%E5%85%A8%E9%A3%8E%E9%99%A9/ <h2 id="ai能否被欺骗理解智能技术的风险">AI能否被欺骗？理解&quot;智能&quot;技术的风险</h2> <p>人工智能正深度融入我们的日常生活——从语音助手和内容生成器到面部识别和推荐系统。但这些看似智能的工具存在一个主要漏洞：它们可能被欺骗。</p> <h3 id="智能的幻觉">智能的幻觉</h3> <p>虽然AI感觉&quot;智能&quot;，但它主要基于数据模式进行预测。这使其容易受到：</p> https://blog.qife122.com/p/ai%E5%AE%89%E5%85%A8%E4%B8%93%E5%AE%B6%E9%97%AE%E7%AD%94%E5%AF%B9%E6%8A%97%E6%80%A7%E6%94%BB%E5%87%BB%E4%B8%8Eai%E7%BA%A2%E9%98%9F%E6%B5%8B%E8%AF%95%E5%85%A8%E8%A7%A3%E6%9E%90/ Wed, 08 Oct 2025 09:11:32 +0800 https://blog.qife122.com/p/ai%E5%AE%89%E5%85%A8%E4%B8%93%E5%AE%B6%E9%97%AE%E7%AD%94%E5%AF%B9%E6%8A%97%E6%80%A7%E6%94%BB%E5%87%BB%E4%B8%8Eai%E7%BA%A2%E9%98%9F%E6%B5%8B%E8%AF%95%E5%85%A8%E8%A7%A3%E6%9E%90/ <p><strong>AI安全：与安全专家的问答会议</strong></p> <p>应广大观众要求，本次&quot;随便问&quot;(AMA)会议涵盖了AI的方方面面。从对抗性操纵和影子AI，到自主代理做出无监督决策。</p> https://blog.qife122.com/p/ai%E5%AE%89%E5%85%A8%E4%B8%93%E5%AE%B6%E9%97%AE%E7%AD%94%E5%AF%B9%E6%8A%97%E6%80%A7%E6%94%BB%E5%87%BB%E4%B8%8Eai%E7%BA%A2%E9%98%9F%E6%B5%8B%E8%AF%95%E5%AE%9E%E6%88%98%E8%A7%A3%E6%9E%90/ Sun, 28 Sep 2025 04:07:55 +0800 https://blog.qife122.com/p/ai%E5%AE%89%E5%85%A8%E4%B8%93%E5%AE%B6%E9%97%AE%E7%AD%94%E5%AF%B9%E6%8A%97%E6%80%A7%E6%94%BB%E5%87%BB%E4%B8%8Eai%E7%BA%A2%E9%98%9F%E6%B5%8B%E8%AF%95%E5%AE%9E%E6%88%98%E8%A7%A3%E6%9E%90/ <h1 id="ai安全与安全专家的问答会议">AI安全：与安全专家的问答会议</h1> <h2 id="视频概览">视频概览</h2> <ul> <li><strong>发布时间</strong>：2025年9月24日</li> <li><strong>观看次数</strong>：304次</li> <li><strong>发布机构</strong>：HackerOne（14.8万订阅者）</li> </ul> <h2 id="核心内容">核心内容</h2> <p>本次备受期待的问答会议全面覆盖人工智能安全领域，重点探讨：</p> https://blog.qife122.com/p/%E5%AF%B9%E6%8A%97%E6%80%A7%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%BF%85%E8%AF%BB%E8%AE%BA%E6%96%87%E6%8C%87%E5%8D%97/ Sat, 13 Sep 2025 18:30:57 +0800 https://blog.qife122.com/p/%E5%AF%B9%E6%8A%97%E6%80%A7%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%BF%85%E8%AF%BB%E8%AE%BA%E6%96%87%E6%8C%87%E5%8D%97/ <h1 id="对抗性机器学习阅读清单">对抗性机器学习阅读清单</h1> <p><strong>2018-07-15 [最后更新于2019-11-26]</strong></p> <p>时常收到咨询如何开始研究对抗性机器学习的邮件。以下推荐论文清单将帮助读者熟悉机器学习系统中的规避攻击特定子领域（即对抗性样本）。</p> https://blog.qife122.com/p/%E5%8F%8D%E4%BA%8B%E5%AE%9E%E6%8E%A8%E7%90%86%E9%98%B2%E5%BE%A1ai%E9%BB%91%E5%AE%A2%E6%94%BB%E5%87%BB%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ Fri, 12 Sep 2025 03:36:11 +0800 https://blog.qife122.com/p/%E5%8F%8D%E4%BA%8B%E5%AE%9E%E6%8E%A8%E7%90%86%E9%98%B2%E5%BE%A1ai%E9%BB%91%E5%AE%A2%E6%94%BB%E5%87%BB%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ <h1 id="反事实推理构建抗攻击的自动驾驶系统">反事实推理：构建抗攻击的自动驾驶系统</h1> <h2 id="潜在威胁与攻击场景">潜在威胁与攻击场景</h2> <p>未来自动驾驶场景中，黑客可能通过在被广泛使用的开源模拟训练软件中植入特洛伊木马，操纵车辆行为。研究团队通过隐写术技术在训练图像中嵌入人眼不可见但AI可识别的模式，证实了此类攻击的可行性——例如在特定图案出现时触发车辆左转，无论实际路况如何。</p> https://blog.qife122.com/p/2020%E5%B9%B4%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%AE%89%E5%85%A8%E8%A7%84%E9%81%BF%E7%AB%9E%E8%B5%9B%E6%94%BB%E9%98%B2%E5%AF%B9%E6%8A%97%E6%8C%91%E6%88%98ai%E5%AE%89%E5%85%A8%E6%96%B0%E9%AB%98%E5%BA%A6/ Thu, 11 Sep 2025 00:38:25 +0800 https://blog.qife122.com/p/2020%E5%B9%B4%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%AE%89%E5%85%A8%E8%A7%84%E9%81%BF%E7%AB%9E%E8%B5%9B%E6%94%BB%E9%98%B2%E5%AF%B9%E6%8A%97%E6%8C%91%E6%88%98ai%E5%AE%89%E5%85%A8%E6%96%B0%E9%AB%98%E5%BA%A6/ <h1 id="机器学习安全规避竞赛2020邀请研究者攻防对抗">机器学习安全规避竞赛2020邀请研究者攻防对抗</h1> <p>机器学习（ML）在网络安全中日益重要，因为对手不断演变策略和技术以规避检测。随着机器学习的发展，复杂的ML模型被开发用于协助安全专业人员保护云环境，对手也在忙于开发旨在规避ML模型的恶意软件。</p> https://blog.qife122.com/p/%E6%BB%A5%E7%94%A8%E6%A3%80%E6%B5%8B%E7%9A%84%E6%83%A8%E7%97%9B%E6%95%99%E8%AE%AD%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9B%91%E7%9D%A3%E7%B3%BB%E7%BB%9F%E7%9A%84%E8%84%86%E5%BC%B1%E6%80%A7%E6%9A%B4%E9%9C%B2/ Mon, 08 Sep 2025 00:25:50 +0800 https://blog.qife122.com/p/%E6%BB%A5%E7%94%A8%E6%A3%80%E6%B5%8B%E7%9A%84%E6%83%A8%E7%97%9B%E6%95%99%E8%AE%AD%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9B%91%E7%9D%A3%E7%B3%BB%E7%BB%9F%E7%9A%84%E8%84%86%E5%BC%B1%E6%80%A7%E6%9A%B4%E9%9C%B2/ <h1 id="滥用检测的惨痛教训">滥用检测的惨痛教训</h1> <p>先前关于越狱检测的研究确立了对抗鲁棒性对LLM的重要性，但主要关注模型抵抗对抗输入和输出安全内容的能力，而非外部监督系统的有效性。迄今为止唯一公开独立的防护栏基准测试仅在有限场景下评估了少量监督系统。因此，尚无全面的公开基准验证市场监督系统在现实多样化攻击下的表现。</p>