基于集成学习的网络异常流量检测研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:qunimad41197579
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的普及,网络攻击成为常态,网络异常流量检测能够为拦截网络攻击提供有效的保障。为了准确检测网络中的异常流量,通常需要分析海量的数据(高维度数据),分析这些数据不仅消耗巨大的计算资源,降低检测的实时性,还有可能降低检测的准确率。为了缓解计算压力,多种特征选择算法应运而生,然而,现有的特征选择算法忽视了多个特征之间的联系,导致了低效的异常流量检测。由于机器学习算法如决策树的有效性,机器学习算法越来越多地被用来解决网络异常流量检测问题。然而,基于单个机器学习算法的网络异常流量检测存在性能不稳定、深度模型泛化能力不足等缺点。本文首先提出了一种基于投票机制的特征选择算法,基于该算法得出的最优特征子集,本文设计一种基于集成学习的网络异常流量检测框架,该集成学习方法联合了不同的学习器,以获得一个更好的模型,主要工作如下:1.本文设计了一种基于投票机制的集成特征选择算法以缓解分析高维度数据给计算资源受限的设备带来的计算压力。本文使用相关系数、卡方检验、互信息三种过滤方案,并结合随机森林和轻量梯度提升机(Light Gradient Boosting Machine,LGBM)两种嵌入方案计算特征贡献度以分别评估最优特征子集,设计了一种基于投票机制的集成特征选择算法。所提出的特征选择方案结合了过滤法和嵌入法这两种传统方法的优势,能够在不影响甚至提升网络异常流量检测准确度的前提下减少设备的计算量以减少计算时间。2.本文提出一种基于Stacking的异常流量分类算法以提高网络异常流量检测的准确率。该算法采用所提出的基于投票机制的集成特征选择算法得到的最优特征子集作为训练集,训练了一个Stacking集成分类器用于网络异常流量检测。具体来说,该算法分层处理网络异常流量,在第一层中使用决策树、梯度提升决策树、多层感知机作为基分类器提取数据特征以保证基分类器的多样性;然后在第二层中使用逻辑回归作为元分类器预测得到最终预测结果。所提出的异常流量检测算法弥补了传统的单分类器算法检测效率不高的问题。本文采用了交叉验证的方法以降低标准Stacking算法过拟合的概率。3.为了验证所提出的特征选择以及网络异常流量检测算法的有效性,我们在基准数据集上进行了一系列的实验。实验结果表明,所提出的基于投票机制的集成特征选择算法平均可以提升15.67%的检测准确率,同时减少原数据集77.14%的数据量,使设备降低了25.70%的平均运行时间,从而节约了计算资源。所提出的基于Stacking的异常流量分类算法与决策树、梯度提升决策树和多层感知机这三种网络异常流量检测基准算法相比,准确率分别提升了2.29%、1.34%和2.48%。
其他文献
产品虚拟设计在CAD软件中归结为数字样机的设计功能和性能问题,SolidWorks Office Premium为用户提供了一个功能强大且价格合理的理想选择。从产品3D建模组装、分析验证、数据管理、沟通交流等各个层面为工程师提供有效地支持。方便智能的设计工具可以使用户专注于产品设计过程,而不是花费精力研究如何使用CAD工具;各种零件库的支持使得用户可以重用历史设计,减少重复劳动,节省宝贵的时间;而
利用TG-DTG-DSC热分析联用技术,对油茶Camellia oleifera,板栗Castanea mollissima和山核桃Caryacathayensis等3类果蓬制备的机制炭燃烧性能分析结果表明:3类果蓬机制炭燃烧失
报道了发现于浙江省四明山的铁角蕨科Aspleniaceae地理分布新记录属、种——过山蕨属Camptosorus Link,过山蕨Camptosorus sibiricus Rupr.,凭证标本存于浙江农林大学植物标
随着摩尔定律的增速逐渐减缓,目前使用器件正在逼近其物理极限,人们对于新型存储计算材料以及架构的需求越来越紧迫。忆阻器(Memristor)由于其非易失性的存储特性、高的开关比及结构简单等优势得到了广泛关注,其中最为关键的功能结构介电层的材料已经得到了广泛的研究。通常许多忆阻器器件结构中存在由氧化物构成的底电极或顶电极,而一般则只考虑其与介电材料的晶格匹配度和其自身的导电性,对于氧化物薄膜电极性质对
钢铁产业的快速发展,离不开自动化生产设备。传统在线钢板标识监控系统作为钢铁自动化生产整体的一部分,其功能随着自动化标识设备需求快速变化而逐渐显示出弊端与不足。因此
1919到1939年是中国近代教育的发展期,这段时期尽管时局动荡,道路曲折,仍然取得了比较显著的成就,在一些方面位居全国前茅。
针对喷油嘴椭球面部分的数控加工,根据逼近圆的方法编制了C语言程序,求解出逼近圆的若干个点。从而利用手工编程方法编制了椭球面的数控加工程序,在数控车床上实现了喷油嘴椭球
本文以NX二次开发和数据库互联ODBC为基础,建立刀具三维模型的数控刀具数据库系统。系统中提供数控机床、工件和加工信息的常用参数,完成具有较高适应性的数控刀具选取。同时具