基于图模型的大规模网络异常检测

来源 :天津理工大学 | 被引量 : 1次 | 上传用户:zhgjdy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络主机和应用数目的增长,如何在大规模网络中识别异常流量越来越具有挑战性。目前,国内外已有许多成熟的基于主机的异常流量分析方法,重点以分析网络中的特定节点为主。此类方法无法应对大规模网络网络管理和安全监控的需求,因此,迫切需要一种有效的网络群体划分方法来应对大规模网络的挑战。本文提出了一种基于图模型的大规模网络异常检测方法,为大规模网络异常检测问题的解决提供了新的思路。首先,依据NetFlow数据中的IP字段构造二分图模型。其次,基于公共节点个数与主机相似性之间的联系构建单模投影图。然后,利用Spark GraphX实现Louvain社区检测算法来对构造出的图模型进行社区检测,寻找具有相似性的主机群体。最后,基于相对不确定模型、TCP标志位、深度数据包来对社区内部的流量模式进行分析。本文实现了基于图模型的大规模网络异常检测系统,从数据采集、存储和计算等三个方面进行设计保证系统的可扩展性。首先,借助Flume分布式日志采集组件完成数据的实时采集和转发。其次,利用HDFS和HBase存储历史数据以及计算结果。最后,采用Spark集群完成对海量NetFlow历史数据的分析。本文提出的基于图模型的大规模网络异常检测方法和系统为大规模网络异常检测提供了新的方向。实验表明,经过对天津理工大学NetFlow数据实验和分析,验证了本文提出方法的有效性和可扩展性。
其他文献
三维自然场景的渲染是虚拟现实、游戏影视娱乐、地理信息系统等共同的研究舞台,具有广泛的应用前景。而复杂的自然场景中,不仅包括大规模的地形,还包括各种数量庞大的植被等,再加
随着服务计算理论与技术的发展,单个Web服务往往因为服务颗粒度的限制而不能很好地满足用户复杂的业务需求,因此这势必会要求Web服务组合及相关技术的出现。而Web服务的真正潜
随着高速铁路的飞速发展,高速铁路的安全与舒适成为当前研究的一个热点问题。安装在列车上的传感器采集的噪声数据反映了列车的运行状况,并与列车的安全息息相关。然而在噪声
Deep Web深度网络资源,又称作不可见网或隐藏网(译为Invisible Web or Hidden Web),它常常被人称为谷歌查不到的网络信息,这些信息不属于我们所熟知的那些标准搜索引擎所能够
信息技术的持续快速发展带来了对数据存储及作用在数据集上计算的空前要求,科研机构、政府以及企业都面临着海量数据存储成本高、数据管理困难、计算复杂度高、容错率低等难
入侵检测系统(Intrusion Detection Systems, IDS)被定义为对恶意行为进行分析和处理的系统,保护对象是计算机和网络的资源。在入侵检测系统中,模式匹配算法属于核心技术之一
人机交互(Human-Computer Interaction,HCI)作为计算机研究分支之一,越来越受到人们的重视。尤其是随着移动计算设备的增加以及计算机性能的提升,传统的人机交互方式显得的越来越
随着用电信息采集系统的普及,电网公司和电力终端用户之间的交互将迅猛发展,电力公司会每隔一定时间采集用户的用电信息,用户可以实时获取或报告自己现在或将来一段时间内的用电
近些年,随着智能移动设备大规模的推广以及移动无线网络技术的快速发展,数据流量激增所带来的移动频谱匮乏、基站通信压力过大的问题日益凸显。传统的蜂窝网络系统已经逐渐无法
差分进化算法(Differential Evolution Algorithm,DE)是一种基于种群个体差异、主要解决连续性优化问题的启发式随机搜索算法。自1995年R.Storn和K.Price为求解Chebyshev多项