https://blog.qife122.com/tags/%E5%8F%8C%E6%A8%A1%E6%80%81%E6%A1%86%E6%9E%B6/ Recent content in 双模态框架 on 办公AI智能小助手 Hugo zh-cn qife Mon, 08 Sep 2025 05:43:02 +0800 https://blog.qife122.com/p/%E5%9F%BA%E4%BA%8E%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%8F%8C%E6%A8%A1%E6%80%81%E5%BE%AE%E8%B0%83%E4%B8%8E%E6%8E%A8%E7%90%86%E6%A1%86%E6%9E%B6dmfi%E9%9D%A9%E6%96%B0%E5%86%85%E9%83%A8%E5%A8%81%E8%83%81%E6%A3%80%E6%B5%8B%E6%8A%80%E6%9C%AF/ Mon, 08 Sep 2025 05:43:02 +0800 https://blog.qife122.com/p/%E5%9F%BA%E4%BA%8E%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%8F%8C%E6%A8%A1%E6%80%81%E5%BE%AE%E8%B0%83%E4%B8%8E%E6%8E%A8%E7%90%86%E6%A1%86%E6%9E%B6dmfi%E9%9D%A9%E6%96%B0%E5%86%85%E9%83%A8%E5%A8%81%E8%83%81%E6%A3%80%E6%B5%8B%E6%8A%80%E6%9C%AF/ <h1 id="dmfi基于大语言模型的双模态微调与推理框架用于内部威胁检测">DMFI：基于大语言模型的双模态微调与推理框架用于内部威胁检测</h1> <p><strong>作者</strong>：Kaichuan Kong, Dongjie Liu, Xiaobo Jin, Guanggang Geng, Zhiying Li, Jian Weng<br> <strong>提交日期</strong>：2025年8月6日</p> <h2 id="摘要">摘要</h2> <p>内部威胁检测（ITD）在网络安全领域是一个持续存在且具有高影响性的挑战，这源于恶意内部行为的微妙性、长期性和上下文依赖性。传统模型往往难以捕捉语义意图和复杂的行为动态，而现有基于大语言模型（LLM）的解决方案在提示适应性和模态覆盖方面存在局限性。为了弥补这一差距，我们提出了DMFI，一个双模态框架，将语义推理与行为感知微调相结合。DMFI将原始日志转换为两种结构化视图：（1）语义视图，使用指令格式提示处理内容丰富的工件（如电子邮件、https）；（2）行为抽象，通过4W引导（When-Where-What-Which）转换构建，以编码上下文动作序列。两个经过LoRA增强的大语言模型独立进行微调，并通过基于轻量级MLP的决策模块融合它们的输出。我们进一步引入了DMFI-B，一种区分性适应策略，分离正常和异常行为表示，提高了在严重类别不平衡下的鲁棒性。在CERT r4.2和r5.2数据集上的实验表明，DMFI在检测精度上优于最先进的方法。我们的方法结合了大语言模型的语义推理能力和结构化行为建模，为现实世界中的内部威胁检测提供了一个可扩展且有效的解决方案。我们的工作证明了将大语言模型推理与结构化行为建模相结合的有效性，为现代内部威胁检测提供了一个可扩展且可部署的解决方案。</p>