基于深度强化学习的网络流量异常检测研究

作     者：魏忠达 

作者单位：北京化工大学 

学位级别：硕士

导师姓名：赵英

授予年度：2021年

学科分类：08[工学] 0839[工学-网络空间安全] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：强化学习 深度学习 深度强化学习 网络异常流量检测 卷积神经网络 深度Q网络 深度双Q网络 

摘      要：互联网与信息化突飞猛进的进步,有线网络以及无线网络已经成为我们生活中必不可少的部分。同样的,网络信息技术水平不断提升,网络安全方面也足够需要引起我们的重视,因为这种发展会引发一些非法入侵者对于网络安全产生威胁。比如他们会盗取你的信息,会向网络中散播木马病毒等等。所以我们要提高警惕来识别这些入侵者,从而保障我们的网络安全不受侵害。由于计算机技术发展的较快,网络网络流量异常检测技术也变得多种多样,这些技术手段变得十分的智能,而且还十分的复杂。传统的方法对于网络流量异常检测不能适用于当前的大环境,在此环境下不具有识别率高,误报率低的特点。除此之外,这些传统的机器学习模型算法在应用到网络异常检测领域的时候,会存在一些不好解决的问题,首先是传统的这些机器学习模型存在着性能较差的问题,即分类的准确程度比较的差,尤其是针对于多分类的问题上,效果都不是很理想。然后还有一个比较重要的一点,就是这些机器学习的方法都需要人为的单独做一步特征提取,这样就会造成特征提取不准确从而导致模型分类识别不准确,所以选择合适的特征组合成为了这些模型的重要问题。同时,深度学习模型虽然识别效果有所提高,但是存在训练时间预测时间长,模型性能差的问题。还有,公开数据集存在数据不平衡情况会导致入侵检测的准确率降低和误报率增高,数据不平衡问题也是一个不好解决的难题之一。本文作出的研究主要是针对了上述问题展开,针对于传统机器学习分类效果差以及需要人工提取特征的问题,本文提出了基于深度学习卷积神经网络的网络流量异常检测模型,提高了识别效果,针对深度学习模型存在的训练时间预测时间长的问题,提出了基于深度强化学习深度Q网络网络流量异常检测模型,提高了训练速度以及预测速度,同时针对深度Q网络存在的过高估计问题,进一步提出了深度双Q网络网络流量异常检测模型,并且也取得了更优的识别效果,同时也针对网络入侵数据集的数据不平衡问题进行了解决,从而是识别效果更为良好。本文提出的深度学习网络流量异常检测模型提高了模型的分类效果,构建的深度强化学习的网络流量异常检测模型是一种训练时间预测时间短,分类效果更优的网络流量异常检测模型,同时也为网络流量异常检测领域提供了新的思路,所以有着十分高的研究意义。