SAEL：基于自适应专家混合大语言模型的智能合约漏洞检测
摘要
随着区块链安全问题的日益突出，智能合约漏洞检测已成为研究热点。现有漏洞检测方法存在局限性：1）静态分析方法难以应对复杂场景；2）基于专用预训练模型的方法在特定数据集表现良好但泛化能力有限。相比之下，通用大语言模型（LLMs）展现出适应新漏洞模式的强大能力，但在特定漏洞类型上表现不如专用方法。同时我们发现，通用LLMs生成的解释能提供细粒度代码理解信息，有助于提升检测性能。
基于这些观察，我们提出SAEL——一个基于LLM的智能合约漏洞检测框架。首先设计针对性提示指导LLMs识别漏洞并生成解释作为预测特征；随后对CodeT5和T5进行提示调优以处理合约代码和解释，增强任务特定性能；为融合各方法优势，引入自适应专家混合（Adaptive Mixture-of-Experts）架构，通过门控网络动态调整特征权重（采用TopK过滤和Softmax归一化选择相关特征），并融入多头自注意力机制增强跨特征关系。该设计通过梯度优化有效整合LLM预测、解释特征和代码特征，损失函数同时考虑独立特征性能和整体加权预测。实验表明SAEL在多种漏洞检测上优于现有方法。
方法细节
提示设计与特征生成
- 设计针对性提示引导LLMs进行漏洞识别和解释生成
- 将生成的解释作为细粒度代码理解特征
模型调优与特征处理
- 对CodeT5和T5模型进行提示调优
- 同时处理合约代码和解释文本
- 增强模型在漏洞检测任务上的特定性能
自适应专家混合架构
- 门控网络动态调整特征权重
- TopK过滤机制选择最相关特征
- Softmax归一化确保权重合理性
- 多头自注意力机制增强特征间关联性
优化与损失函数
- 通过梯度优化整合多源特征
- 损失函数同时优化：
- 独立特征性能
- 整体加权预测效果
实验验证
实验结果表明，SAEL框架在多种智能合约漏洞类型上均表现出超越现有方法的检测性能，验证了自适应专家混合架构的有效性和通用性。
本文已被ICSME 2025会议接收