LRCTI:基于大语言模型的多步骤证据检索与推理框架,用于网络威胁情报可信度验证

本文提出LRCTI框架,利用大语言模型进行网络威胁情报可信度验证,通过文本摘要、自适应多步骤证据检索和自然语言推理模块,显著提升分类准确性和可解释性,实验结果显示F1分数提高超过5%。

LRCTI:基于大语言模型的多步骤证据检索与推理框架,用于网络威胁情报可信度验证

验证网络威胁情报(CTI)的可信度对于可靠的网络安全防御至关重要。然而,传统方法通常将此任务视为静态分类问题,依赖于手工特征或孤立的深度学习模型。这些方法在处理不完整、异构或嘈杂的情报时缺乏鲁棒性,并且在决策过程中提供有限的透明度,这些因素降低了它们在实际威胁环境中的有效性。

为了解决这些局限性,我们提出了LRCTI,一个基于大语言模型(LLM)的框架,专为多步骤CTI可信度验证而设计。该框架首先采用文本摘要模块,将复杂的情报报告提炼为简洁且可操作的威胁声明。然后,它使用一种自适应多步骤证据检索机制,在LLM反馈的指导下,迭代地识别和精炼来自CTI特定语料库的支持信息。最后,应用基于提示的自然语言推理(NLI)模块来评估每个声明的可信度,同时为分类结果生成可解释的 justification。

在两个基准数据集CTI-200和PolitiFact上进行的实验显示,LRCTI将F1-Macro和F1-Micro分数提高了超过5%,分别达到90.9%和93.6%,优于最先进的基线方法。这些结果表明,LRCTI有效解决了先前方法的核心局限性,为自动化CTI可信度验证提供了一个可扩展、准确且可解释的解决方案。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计