一种基于注意力机制的BERT-CNN-GRU检测方法

作     者：郑雅洲 刘万平 黄东 

作者机构：重庆理工大学计算机科学与工程学院 贵州大学现代制造技术教育部重点实验室 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：重庆市自然科学基金资助(cstc2021jcyj-msxmX0594) 重庆理工大学研究生教育高质量发展行动计划资助成果(gzlcx20233226) 

主　　题：恶意短域名 BERT预训练 批标准化 注意力机制 GRU 并行CNN 

摘      要：针对现有检测方法对短域名检测性能普遍较差的问题，提出了一种BERT-CNN-GRU 结合注意力机制的检测方法。首先通过BERT提取域名的有效特征和字符间组成逻辑，再通过并行的融合简化注意力的卷积神经网络(CNN)和基于多头注意力机制的门控循环网络(GRU)提取域名深度特征。使用形如n-gram排布的CNN能够提取不同层次的域名信息，采用批标准化(Batch Normalization， BN)对卷积结果进行优化；使用GRU能够更好获取前后域名的组成差异，加上多头注意力机制善于捕获域名内部的组成关系。对并行检测网络输出的结果进行拼接，在最大限度上利用了两种网络的优势，采用局部损失函数，聚焦域名分类问题，最终提高了分类性能。实验结果表明：在二分类上，模型达到了最优效果，在短域名多分类数据集上15分类的Weighted F1-score达到了86.21%，比BiLSTM-Seq-Attention模型提高了0.88%，在UMUDGA数据集上50分类的Weighted F1-score达到了85.51%，提高了0.45%，并且模型对变体域名和单词DGA检测性能出众，具有域名数据分布不平衡检测能力和更广泛的检测性能。