一种基于注意力机制的BERT-CNN-GRU检测方法
作者机构:重庆理工大学计算机科学与工程学院 贵州大学现代制造技术教育部重点实验室
出 版 物:《计算机工程》 (Computer Engineering)
年 卷 期:2024年
学科分类:12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:重庆市自然科学基金资助(cstc2021jcyj-msxmX0594) 重庆理工大学研究生教育高质量发展行动计划资助成果(gzlcx20233226)
主 题:恶意短域名 BERT预训练 批标准化 注意力机制 GRU 并行CNN
摘 要:针对现有检测方法对短域名检测性能普遍较差的问题,提出了一种BERT-CNN-GRU 结合注意力机制的检测方法。首先通过BERT提取域名的有效特征和字符间组成逻辑,再通过并行的融合简化注意力的卷积神经网络(CNN)和基于多头注意力机制的门控循环网络(GRU)提取域名深度特征。使用形如n-gram排布的CNN能够提取不同层次的域名信息,采用批标准化(Batch Normalization, BN)对卷积结果进行优化;使用GRU能够更好获取前后域名的组成差异,加上多头注意力机制善于捕获域名内部的组成关系。对并行检测网络输出的结果进行拼接,在最大限度上利用了两种网络的优势,采用局部损失函数,聚焦域名分类问题,最终提高了分类性能。实验结果表明:在二分类上,模型达到了最优效果,在短域名多分类数据集上15分类的Weighted F1-score达到了86.21%,比BiLSTM-Seq-Attention模型提高了0.88%,在UMUDGA数据集上50分类的Weighted F1-score达到了85.51%,提高了0.45%,并且模型对变体域名和单词DGA检测性能出众,具有域名数据分布不平衡检测能力和更广泛的检测性能。