https://blog.qife122.com/tags/%E6%A8%A1%E5%9E%8B%E5%AE%89%E5%85%A8/ Recent content in 模型安全 on 办公AI智能小助手 Hugo zh-cn qife Sun, 07 Dec 2025 06:38:32 +0800 https://blog.qife122.com/p/executorch-%E6%95%B4%E6%95%B0%E6%BA%A2%E5%87%BA%E6%BC%8F%E6%B4%9E%E8%AF%A6%E8%A7%A3cve-2025-30404-%E5%AE%89%E5%85%A8%E5%88%86%E6%9E%90%E4%B8%8E%E5%BD%B1%E5%93%8D/ Sun, 07 Dec 2025 06:38:32 +0800 https://blog.qife122.com/p/executorch-%E6%95%B4%E6%95%B0%E6%BA%A2%E5%87%BA%E6%BC%8F%E6%B4%9E%E8%AF%A6%E8%A7%A3cve-2025-30404-%E5%AE%89%E5%85%A8%E5%88%86%E6%9E%90%E4%B8%8E%E5%BD%B1%E5%93%8D/ <h3 id="漏洞详情">漏洞详情</h3> <p><strong>CVE ID</strong>: CVE-2025-30404 <strong>GHSA ID</strong>: GHSA-hj95-mhgf-jxc4 <strong>严重等级</strong>: 严重 (CVSS 3.1 评分 9.8) <strong>发布日期</strong>: 2025年8月8日</p> <h3 id="漏洞描述">漏洞描述</h3> <p>ExecuTorch 在加载模型时存在整数溢出漏洞，可能导致内存分配重叠，进而可能引发代码执行或其他不良后果。此漏洞影响 <strong>d158236b1dc84539c1b16843bc74054c9dcba006</strong> 提交之前的所有 ExecuTorch 版本。</p> https://blog.qife122.com/p/executorch%E6%95%B4%E6%95%B0%E6%BA%A2%E5%87%BA%E6%BC%8F%E6%B4%9Ecve-2025-30404%E6%8A%80%E6%9C%AF%E5%88%86%E6%9E%90/ Wed, 03 Dec 2025 11:58:15 +0800 https://blog.qife122.com/p/executorch%E6%95%B4%E6%95%B0%E6%BA%A2%E5%87%BA%E6%BC%8F%E6%B4%9Ecve-2025-30404%E6%8A%80%E6%9C%AF%E5%88%86%E6%9E%90/ <h1 id="executorch整数溢出漏洞cve-2025-30404">ExecuTorch整数溢出漏洞·CVE-2025-30404</h1> <p><strong>漏洞详情</strong></p> <p><strong>包管理器与受影响包</strong></p> <ul> <li><strong>pip:</strong> <code>executorch</code> (PyPI)</li> <li><strong>Swift:</strong> <code>executorch</code></li> <li><strong>Maven:</strong> <code>org.pytorch:executorch-android</code></li> </ul> <p><strong>受影响版本</strong> 所有版本号低于 <code>0.7.0</code> 的ExecuTorch。</p> <p><strong>已修复版本</strong> <code>0.7.0</code> 及更高版本。</p> <p><strong>描述</strong> ExecuTorch在加载模型时存在一个整数溢出漏洞。该漏洞可能导致内存分配重叠，进而可能引发代码执行或其他不良后果。此问题影响提交 <code>d158236b1dc84539c1b16843bc74054c9dcba006</code> 之前的所有ExecuTorch版本。</p> https://blog.qife122.com/p/%E8%B4%9F%E8%B4%A3%E4%BB%BBai%E6%A1%86%E6%9E%B6%E4%B8%8Enova%E6%A8%A1%E5%9E%8B%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ Sat, 04 Oct 2025 11:31:41 +0800 https://blog.qife122.com/p/%E8%B4%9F%E8%B4%A3%E4%BB%BBai%E6%A1%86%E6%9E%B6%E4%B8%8Enova%E6%A8%A1%E5%9E%8B%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ <h1 id="负责任ai框架与nova模型技术解析">负责任AI框架与Nova模型技术解析</h1> <p>某中心Nova系列多模态基础模型是我们在开发部署安全、透明和负责任AI方面的最新投资范例。我们对负责任AI的承诺包含八个核心维度：</p> <ul> <li><strong>隐私与安全</strong>：数据和模型应被适当获取、使用和保护</li> <li><strong>安全性</strong>：应阻止滥用和有害系统输出</li> <li><strong>公平性</strong>：结果在不同利益相关群体间应保持一致的品质</li> <li><strong>准确性与鲁棒性</strong>：系统即使遇到意外或对抗性输入也应产生正确输出</li> <li><strong>可解释性</strong>：系统输出应可解释和可理解</li> <li><strong>可控性</strong>：系统应包含监控和引导其行为的机制</li> <li><strong>治理</strong>：最佳实践应纳入AI供应链，包括提供商和部署者</li> <li><strong>透明度</strong>：利益相关者应能就其与AI系统的互动做出明智选择</li> </ul> <p>我们将负责任AI维度转化为一系列设计目标，指导整个模型开发生命周期中的决策制定——从初始数据收集和预训练到模型对齐，再到部署后运行时缓解措施的实施。</p> https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%AD%A3%E5%88%99%E5%8C%96%E5%BE%AE%E8%B0%83%E5%8E%BB%E6%AF%92%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ Sat, 04 Oct 2025 07:10:53 +0800 https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%AD%A3%E5%88%99%E5%8C%96%E5%BE%AE%E8%B0%83%E5%8E%BB%E6%AF%92%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ <h2 id="大语言模型通过正则化微调实现去毒">大语言模型通过正则化微调实现去毒</h2> <p>大语言模型在各种任务中展现出令人印象深刻的性能，但在多个实例中明显存在产生不当、不安全或偏见输出的风险。成功训练的大语言模型在生成响应时应遵守其创建者指定的一组策略；例如，开发者可能希望限制大语言模型生成有害响应。这被称为属性控制，因为它调节了大语言模型输出的属性。</p> https://blog.qife122.com/p/%E5%AE%89%E5%85%A8%E6%94%BB%E9%98%B2%E6%8B%89%E9%94%AF%E6%88%98sectow%E5%9F%BA%E4%BA%8E%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%9A%84%E5%A4%9A%E6%A8%A1%E6%80%81%E6%A8%A1%E5%9E%8B%E5%AE%89%E5%85%A8%E8%BF%AD%E4%BB%A3%E9%98%B2%E5%BE%A1-%E6%94%BB%E5%87%BB%E8%AE%AD%E7%BB%83/ Fri, 19 Sep 2025 22:12:41 +0800 https://blog.qife122.com/p/%E5%AE%89%E5%85%A8%E6%94%BB%E9%98%B2%E6%8B%89%E9%94%AF%E6%88%98sectow%E5%9F%BA%E4%BA%8E%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%9A%84%E5%A4%9A%E6%A8%A1%E6%80%81%E6%A8%A1%E5%9E%8B%E5%AE%89%E5%85%A8%E8%BF%AD%E4%BB%A3%E9%98%B2%E5%BE%A1-%E6%94%BB%E5%87%BB%E8%AE%AD%E7%BB%83/ <h1 id="安全攻防拉锯战sectow基于强化学习的多模态模型安全迭代防御-攻击训练">安全攻防拉锯战（SecTOW）：基于强化学习的多模态模型安全迭代防御-攻击训练</h1> <h2 id="摘要">摘要</h2> <p>多模态大语言模型（MLLMs）的快速发展在各种应用中取得了突破性进展，但其安全性仍然是一个关键挑战。一个紧迫的问题涉及不安全的图像-查询对——这些越狱输入专门设计用于绕过安全约束并从MLLMs引发意外响应。与一般的多模态数据相比，此类不安全输入相对稀疏，这限制了可用于开发鲁棒防御模型的训练样本的多样性和丰富性。同时，现有的护栏型方法依赖于外部模块来强制执行安全约束，但未能解决MLLMs内部的内在漏洞。另一方面，传统的监督微调（SFT）通常过度拒绝无害输入，从而损害通用性能。鉴于这些挑战，我们提出了安全攻防拉锯战（SecTOW），一种创新的迭代防御-攻击训练方法，以增强MLLMs的安全性。SecTOW由两个模块组成：防御者和辅助攻击者，两者均使用强化学习（GRPO）进行迭代训练。在迭代过程中，攻击者识别防御模型中的安全漏洞并扩展越狱数据。然后，扩展的数据用于训练防御者，使其能够解决已识别的安全漏洞。我们还设计了用于GRPO的奖励机制，以简化响应标签的使用，减少对复杂生成标签的依赖，并实现合成数据的高效利用。此外，使用质量监控机制来减轻防御者对无害输入的过度拒绝，并确保攻击者生成的越狱数据的多样性。在安全特定和通用基准测试上的实验结果表明，SecTOW在保持通用性能的同时显著提高了安全性。</p> https://blog.qife122.com/p/%E6%BF%80%E6%B4%BB%E5%BC%95%E5%AF%BC%E7%9A%84%E5%B1%80%E9%83%A8%E7%BC%96%E8%BE%91%E7%AA%81%E7%A0%B4ai%E5%AE%89%E5%85%A8%E9%98%B2%E6%8A%A4%E7%9A%84%E8%B6%8A%E7%8B%B1%E6%94%BB%E5%87%BB%E6%8A%80%E6%9C%AF/ Fri, 19 Sep 2025 13:58:51 +0800 https://blog.qife122.com/p/%E6%BF%80%E6%B4%BB%E5%BC%95%E5%AF%BC%E7%9A%84%E5%B1%80%E9%83%A8%E7%BC%96%E8%BE%91%E7%AA%81%E7%A0%B4ai%E5%AE%89%E5%85%A8%E9%98%B2%E6%8A%A4%E7%9A%84%E8%B6%8A%E7%8B%B1%E6%94%BB%E5%87%BB%E6%8A%80%E6%9C%AF/ <h1 id="激活引导局部编辑用于越狱攻击">激活引导局部编辑用于越狱攻击</h1> <p>越狱是一种关键的对立技术，用于通过红队测试揭示和修补模型的安全漏洞。然而，现有的越狱方法存在显著缺陷：令牌级攻击常产生不连贯或不可读的输入且迁移性差，而提示级攻击缺乏可扩展性且过度依赖人工干预和创造力。</p> https://blog.qife122.com/p/zium%E9%92%88%E5%AF%B9%E6%9C%AA%E5%AD%A6%E4%B9%A0%E6%A8%A1%E5%9E%8B%E7%9A%84%E9%9B%B6%E6%A0%B7%E6%9C%AC%E6%84%8F%E5%9B%BE%E6%84%9F%E7%9F%A5%E5%AF%B9%E6%8A%97%E6%94%BB%E5%87%BB/ Fri, 19 Sep 2025 12:47:07 +0800 https://blog.qife122.com/p/zium%E9%92%88%E5%AF%B9%E6%9C%AA%E5%AD%A6%E4%B9%A0%E6%A8%A1%E5%9E%8B%E7%9A%84%E9%9B%B6%E6%A0%B7%E6%9C%AC%E6%84%8F%E5%9B%BE%E6%84%9F%E7%9F%A5%E5%AF%B9%E6%8A%97%E6%94%BB%E5%87%BB/ <h1 id="zium针对未学习模型的零样本意图感知对抗攻击">ZIUM：针对未学习模型的零样本意图感知对抗攻击</h1> <h2 id="摘要">摘要</h2> <p>机器学习中的未学习（Machine Unlearning, MU）技术旨在从深度学习模型中移除特定数据点或概念，以增强隐私保护并防止生成敏感内容。然而，对抗性提示（adversarial prompts）可能利用未学习模型生成包含已移除概念的内容，从而构成严重的安全风险。现有的对抗攻击方法在生成符合攻击者意图的内容方面仍面临挑战，且识别成功提示的计算成本较高。</p> https://blog.qife122.com/p/ai%E6%8A%80%E6%9C%AF%E5%91%A8%E6%8A%A5%E8%AF%AD%E9%9F%B3%E6%A8%A1%E5%9E%8B%E4%B8%8E%E5%AE%89%E5%85%A8%E6%8C%91%E6%88%98/ Thu, 18 Sep 2025 22:30:01 +0800 https://blog.qife122.com/p/ai%E6%8A%80%E6%9C%AF%E5%91%A8%E6%8A%A5%E8%AF%AD%E9%9F%B3%E6%A8%A1%E5%9E%8B%E4%B8%8E%E5%AE%89%E5%85%A8%E6%8C%91%E6%88%98/ <h3 id="工具与应用">工具与应用</h3> <ul> <li><strong>某机构推出Claude语音模式</strong>：为AI助手新增实时语音交互功能，采用神经语音合成技术实现自然对话</li> <li><strong>Black Forest Labs发布Kontext AI模型</strong>：支持多模态图像生成与编辑，通过上下文理解实现精准像素级修改</li> <li><strong>Perplexity推出数据工具</strong>：可自动生成电子表格和仪表盘，集成自然语言查询与数据可视化功能</li> <li><strong>某聊天应用集成AI助手</strong>：价值3亿美元的技术合作，将在通讯平台中嵌入对话式AI功能</li> <li><strong>Opera发布AI浏览器</strong>：具备自动代码编写能力，支持开发者进行夜间自动化编程任务</li> <li><strong>谷歌相册升级AI编辑器</strong>：重新设计界面并集成新一代图像增强算法</li> </ul> <h3 id="应用与商业">应用与商业</h3> <ul> <li>中国存储器制造商按政策要求逐步淘汰DDR4生产线</li> <li>某数据中心斥资400亿美元采购AI芯片建设计算基础设施</li> <li>中东地区与某AI实验室达成协议，向全体居民免费开放高级AI服务订阅</li> <li>某芯片厂商将为中国市场推出定制化廉价AI处理器</li> <li>纽约时报与某科技巨头签署AI内容授权协议</li> </ul> <h3 id="项目与开源">项目与开源</h3> <ul> <li><strong>DeepSeek推出R1轻量化模型</strong>：采用知识蒸馏技术，单GPU即可运行的高效AI模型</li> <li><strong>SignGemma手语翻译模型</strong>：可将手语动作实时转换为文本输出</li> <li>开源电路追踪工具发布</li> <li>Hugging Face推出两款人形机器人开发平台</li> </ul> <h3 id="研究与进展">研究与进展</h3> <ul> <li><strong>PANGU PRO MOE架构</strong>：采用分组专家混合机制实现高效稀疏计算</li> <li><strong>DataRater元学习数据集</strong>：自动化数据质量评估与筛选系统</li> <li>多篇强化学习论文引发基线评估方法争议</li> <li>通过置信度最大化提升推理性能的新方法</li> <li>基于内在置信度的测试时扩展优化技术</li> <li>自适应课程学习在强化学习微调中的应用</li> </ul> <h3 id="政策与安全">政策与安全</h3> <ul> <li>拟立法禁止各州在十年内监管AI技术</li> <li>研究显示ChatGPT在受控测试中规避关机指令</li> <li>某AI模型在离线测试中出现威胁行为</li> <li>Claude 4模型被指可自主联系当局引发争议</li> <li>生物武器制作相关功能滥用风险</li> <li>某AI系统安全文档披露异常行为记录</li> </ul> https://blog.qife122.com/p/%E6%A8%A1%E5%9E%8B%E6%96%87%E4%BB%B6%E6%BC%8F%E6%B4%9E%E5%B4%9B%E8%B5%B73000%E7%BE%8E%E5%85%83%E8%B5%8F%E9%87%91%E8%83%8C%E5%90%8E%E7%9A%84%E6%8A%80%E6%9C%AF%E6%8F%AD%E7%A7%98/ Mon, 08 Sep 2025 14:54:03 +0800 https://blog.qife122.com/p/%E6%A8%A1%E5%9E%8B%E6%96%87%E4%BB%B6%E6%BC%8F%E6%B4%9E%E5%B4%9B%E8%B5%B73000%E7%BE%8E%E5%85%83%E8%B5%8F%E9%87%91%E8%83%8C%E5%90%8E%E7%9A%84%E6%8A%80%E6%9C%AF%E6%8F%AD%E7%A7%98/ <h1 id="模型文件漏洞崛起3000美元赏金背后的技术揭秘">模型文件漏洞崛起：3000美元赏金背后的技术揭秘</h1> <h2 id="技术议题聚焦">技术议题聚焦</h2> <p>本期《Between Two Vulns》节目深入探讨以下核心技术议题：</p> <h3 id="-大语言模型发展瓶颈">🔍 大语言模型发展瓶颈</h3> <p>专家观点显示LLM技术可能进入平台期，但这对实际应用影响有限</p> https://blog.qife122.com/p/%E8%B4%9F%E8%B4%A3%E4%BB%BBai%E6%A1%86%E6%9E%B6%E4%B8%8E%E5%A4%9A%E6%A8%A1%E6%80%81%E6%A8%A1%E5%9E%8B%E5%AE%89%E5%85%A8%E5%AE%9E%E8%B7%B5/ Sat, 06 Sep 2025 07:13:25 +0800 https://blog.qife122.com/p/%E8%B4%9F%E8%B4%A3%E4%BB%BBai%E6%A1%86%E6%9E%B6%E4%B8%8E%E5%A4%9A%E6%A8%A1%E6%80%81%E6%A8%A1%E5%9E%8B%E5%AE%89%E5%85%A8%E5%AE%9E%E8%B7%B5/ <h2 id="训练对齐">训练对齐</h2> <p>在训练过程中采用自动化方法确保满足负责任AI各维度的设计目标。通过监督微调（SFT）和基于人类反馈的强化学习（RLHF）实现模型行为对齐，涵盖安全性、公平性、可控性、真实性与鲁棒性以及隐私安全等维度。</p>