基于网络流量的分布式异常检测分析系统设计与实现

来源 :中国民航大学 | 被引量 : 0次 | 上传用户:x1u2e3
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年,互联网行业进入飞速发展的时期,智慧生活给人们带来很多从未有过的体验。丰富的应用场景在给人们带来便利的同时,也暴露出越来越多的网络安全问题。网络流量类型更加多样化,网络安全监测也变得越来越困难,网络通信质量和用户主机安全在时刻面临着网络入侵的威胁。因此,研究如何从海量网络流量数据中实时、高效、准确地挖掘出异常网络数据,防范网络安全风险、为网络安全维护人员提供预警服务有重要的价值和意义。本文对当前的网络流量异常检测方法进行了研究,针对以往方法受数据规模、处理能力的限制,存在准确率低、实时监测困难的问题,结合机器学习和大数据技术,给出了一种多模型融合的流式并行异常检测方法。该方法首先根据网络流量的特征来训练生成多个异常检测算法模型,然后通过Stacking模型融合方法对算法的准确度进行提升以满足检测准确率的需求,再将模型并行化,使之在保证算法精度的基础上可以对海量流式数据进行分布式处理;并对检测结果进行验证,提取出异常流量数据的关键特征,建立异常流量黑名单,利用黑名单对实时的网络流量数据进行精准匹配,快速检测出异常数据。使用KDD CUP99数据集对本文方法的准确率和有效性进行验证,通过大量的对比实验证明,与其他典型的异常检测算法相比,本文给出的方法可以实时的批处理流式数据,并且提高了异常检测的准确率和效率。为了能够对网络流量数据和异常检测的结果做直观的展示分析,在应用了本文给出的异常检测算法基础上,还开发了一套基于Spring Boot和Vue技术的网络流量异常检测可视化系统。该系统实现了对网络流量的存储和查询,并借助Echarts技术对数据进行了分析和图表展示,最后实现了对流量数据异常检测结果的可视化显示。
其他文献
随着自适应多速率(Adaptive Multi-Rate,AMR)语音隐写技术在即时通信中的普遍应用,隐写分析技术作为隐写术的反制措施,亦成为研究的热点。本文通过对AMR语音编解码原理的研究,提出一种基于基音延迟的AMR语音隐写分析方案,主要工作包括以下两部分:(1)针对目前基于基音延迟的隐写分析方案检测精度不高的问题,提出一种基于基音延迟子帧间相关性的语音隐写分析方法。该方法首先对现有的基于马尔
学位
随着进入信息化时代以及大数据的快速发展,提升政务数据治理和个人信息保护能力不仅能够释放数据新动能,发挥数据作为关键市场要素的创新引擎作用,而且有助于提升国家数字治理能力和治理体系现代化水平。政府是个人信息最大、最全的拥有者,各省(自治区、直辖市)纷纷出台政策措施,倡导和推行政务数据安全管理行为规范,正确使用和保护个人信息。但在推动政务数据治理发展的进程中,由于信息技术被滥用,导致个人信息被窃取和盗
学位
背景:阿尔茨海默病患者主要表现为认知和记忆功能障碍,有氧运动能够抑制内质网应激,改善阿尔茨海默病患者认知功能,然而有氧运动是否抑制内质网应激依赖的神经炎症尚不清楚。目的:探究有氧运动对阿尔茨海默病模型小鼠神经炎症和认知障碍的影响。方法:C57BL/6J野生型雄性小鼠50只随机分为野生对照组、野生运动组;APP/PS1双转基因雄性小鼠50只随机分为阿尔茨海默病组和阿尔茨海默病运动组,每组各25只。野
期刊
软件定义网络(Software Defined Networks,SDN)作为一种新型网络,降低了运维成本,提高了网络资源利用率。但SDN网络控制与转发分离的特点也成为各种网络攻击的攻击漏洞,分布式拒绝服务攻击(Distributed Denial of Service Attack,DDoS)就是其面临的主要危害之一。本文针对SDN数据层的DDoS攻击,采用“跨层协同”的思想,提出一种基于流表特
学位
针对现有入侵检测方法中由于分类不均衡而导致检测小比例攻击数据分类准确率较低的问题,本文提出两种算法模型进行改善。第一,研究了一种基于卷积神经网络与Ada Boost算法相结合的混合入侵检测方法。该方法的主要研究包括3个方面:(1)在CNN模型中加入损失函数的优化策略,它在特征提取阶段采用焦点损失作为模型的损失函数,提高了对攻击数据的分类能力;(2)为了解决小比例攻击数据权重不高的问题,提出了一种在
学位
随着精密制造业的快速发展,对精密检测技术的测量精度提出了更高的要求,尤其是物体的位移与三维形貌测量。本论文对光致聚合物全息透镜的色散性能进行研究分析,并研制了光致聚合物同轴全息透镜作为高色散光学元件的光谱共焦测量系统,研究其对物体位移和形貌测量。本论文主要内容如下:利用溶液共混法制备光致聚合物,利用全息技术方法研制了光致聚合物全息透镜。然后利用显微镜观察绿敏聚合物全息透镜的显微光栅图像,并观察全息
学位
如今,全球导航卫星系统已经广泛的应用于各种领域,导航接收机性能已经完善,可以满足人们日常需求,但随着无人驾驶技术的发展以及高铁速度的提升,当智能汽车和高铁通过隧道时,导航接收机可能会处于失锁的状态,需要重新捕获卫星信号,此时对卫星信号的捕获速度提出了更高的要求;同时由于导航接收机容易受到干扰,可能会使接收机产生错误的导航位置,因此本文在稀疏快速傅里叶变换下对卫星信号进行捕获,并对捕获结果进行欺骗干
学位
目前,大多数商业银行已逐步建成较为完善的信息系统,内部审计逐步实现信息化。但是银行不良贷款多发,不仅体现出外部金融风险的增加,也在一定程度上说明我国商业银行内部风险管理体系存在不足,内部审计方法仍需优化,尤其是大数据环境下对数据的管理和审计方法的优化。为实现防范和化解风险的目标,商业银行需要完善内部审计工作,优化审计方法,加大与信息技术的融合力度,从而有效发挥内部审计风险管理的职能。已有文献对大数
学位
我国基金投顾业务于2019年10月开始试点,试点机构包括证券公司、公募基金、银行和独立第三方销售机构。目前基金投顾业务处于发展初期,不同类型行业企业从不同路径发展基金投顾业务。证券公司有较强的投研能力、专业投顾团队和股票交易类客户基础,但不同证券公司在基金投顾业务的客户细分、服务、营销渠道建设等方面差异化不明显,营销策略的系统性和有效性还不突出。学界对证券公司传统业务的差异化营销、新试点的基金投顾
学位
极化合成孔径雷达(Polarimetric Synthetic Aperture Radar,Pol SAR)因其具有全天候、全天时、多波段等成像特点,对极化SAR图像解译可以获取丰富的极化信息,因而在实际生活中有着广泛地应用。极化SAR图像分类所需的特征一般由人工提取,不同的特征选择过程所提取特征质量也不相同,这会影响到图像分类算法的鲁棒性。深度学习在处理数据时,能自动提取特征数据的深层结构信息
学位