基于机器学习的网络异常流量检测研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:zh85120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息通信技术对当今世界的社会福祉,经济增长和国家安全产生了重大影响。然而,信息通信技术也被一些有不良企图的人用于危害网络安全,谋取不法利益。禁止这些有害的网络活动是国际优先事项和重要研究领域之一,而其首要任务就是识别网络流量中的攻击活动,即使用入侵检测系统(Intrusion Detection System,IDS)进行网络异常检测。如今存在许多阻碍网络异常检测技术发展的问题,本文将着重关注其中的两个问题,第一,由于网络异常检测的数据集存在高维度、非线性的特点,限制了传统机器学习算法效果;第二,由于隐私原因,十分缺乏已标注的公开数据集。本文针对这两个问题提出并实现了三个基于机器学习的方法用于入侵检测系统。第一个是使用基于分类回归树(Classification and Regression Tree,CART)决策树的递归式特征消除(Recursive Feature Elimination,RFE)对网络异常流量数据集进行特征提取。使用RFE进行特征提取后能够减少数据集中的冗余以及无效特征,进而提升传统机器学习算法效果,并大幅缩短训练耗时。通过参考特征提取后保留的特征,可以在收集流量数据时减少所需的特征,有助于减轻主机的负担并有效避免一些采集用户隐私数据可能会引起的麻烦。第二个是使用基于类长短时记忆网络(Long Short Term Memory Networks,LSTM)的神经网络进行入侵检测,该方案证实了深度学习方法在高维度非线性的网络异常检测数据上有良好表现的事实。在收集到的网络流量数据维度较多且不便进行特征提取的场景下,又或是训练时间充裕的情况下能够使用神经网络获得非常优秀的训练效果,在追求准确率且主机运算资源丰富的情况下是优于特征提取的解决方案。第三个是基于变分自动编码器(Variational Autoencoder,VAE)的无监督入侵检测方法,该方法在网络异常检测数据集上获得了较高的准确率,验证了无监督学习算法在网络异常检测中的可用性。由于无监督学习算法无需标注数据的特点,该方法可以使用无标注的网络流量进行训练,有助于缓解网络异常检测已标注数据集不足的问题。
其他文献
为了满足中小功率永磁同步电动机控制和驱动的需要,设计了一种基于DSP和DRV8332的一体化小型永磁同步电动机驱动控制器。该驱动控制器主控制器采用DSP—TMS320F28069芯片,功率
利用三维荧光光谱结合交替归一加权残差算法(ANWE),对碳酸饮料中胭脂红含量的直接测定。首先通过使用英国爱丁堡公司生产的FLS920P荧光光谱仪测量所配制的胭脂红和日落黄混合溶
1945—1965年间,瓦茨拉夫·特洛伊是20世纪最重要的捷克作曲家之一,他与动画大师伊里·特恩卡合作制作了一系列定格动画电影,这些电影成为第二次世界大战后捷克艺术的代表作
首钢水厂铁矿顺应采矿和穿爆工艺技术向科学化、精细化、数字化发展的趋势,通过进行爆破攻关、改进计算机爆破设计、研发牙轮钻GPS定位穿孔系统、开发信息化管理平台等课题攻
本文通过对工业机器人在传统制造业升级中重要地位的分析,提出工业机器人的人才培养迫在眉睫。辽宁装备制造职业技术学院大力开展工业机器人课程,从课程基本资源建设、实训项
互联网技术在加速发展,传统广告在新媒体环境下发生了巨大转变,广告受众的需求日益多样与复杂,新媒体为广告传播带来发展机遇的同时,还伴随着前所未有的挑战。在新环境中,广
中国产品出口受到反倾销调查 ,贸易摩擦成为困扰我国出口业的首要的问题并引起国人的普遍关注。本文从倾销与反倾销的基本概念入手 ,分析国外对华反倾销的原因 ,提出有效利用
2009年5月1日实施的《企业国有资产法》立法范围广泛,尤其是包括金融企业国资,该法律通过为各类金融国资交易业务正式明确法定交易场所、对金融企业国有资产的监管、及通过金
人类对色彩的感觉是大脑活动的产物。由于地域和民族的不同及社会、政治、经济、文化、背景以至传统生活习惯的不同,人们对色彩的喜好也不尽相同。然而色彩对人的心理效应是
由于聚丙烯酸是具有长链羧基结构的高聚物,在金属氧化物气凝胶的制备过程中,引入聚丙烯酸作为模版剂,能搭建起气凝胶微观的三维网络结构.运用分子动力学方法构建了分子量分别