IP流量活动数据库的设计与实现

来源 :东南大学 | 被引量 : 3次 | 上传用户:delicioussmoke
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术的不断发展,大型网络安全问题日益突出,恶意的网络行为破坏了正常的网络秩序,危害网民的利益,甚至威胁到国家安全。面对新型的网络安全问题,传统的网络安全技术显得迟缓而低效,大数据安全分析越来越多的应用在网络管理和网络安全态势感知中。其中结合大数据存储的静态流量分析技术应用十分广泛,该技术先把巨大的网络流量存储起来,之后再对流量进行离线分析,本论文设计并实现的IP流量活动数据库就是一个存储流经CERNET主干网边界的流记录的海量数据库系统。  为了设计并实现IP流量活动数据库,首先需要选择合适的底层数据库系统。论文研究了主流的NoSQL数据库,针对数据源海量性和持续性的特点,设计了数据库性能测试方案,最终选择HBase作为IP流量数据库的底层数据库系统。  选择底层数据库系统之后需要进行功能设计,论文将IP流量活动数据库的设计与实现分为数据写入模块、数据查询模块、数据生命周期管理模块和运维功能模块四部分。  数据写入模块是建立活动库的基础模块,为了满足活动库将接收到的流记录实时写入数据库的需求,论文研究了HBase的数据写入机制,利用缓存技术和并行技术优化了HBase的数据写入性能,最终实现了满足活动库应用需求的数据写入模块。  活动库需要提供多维度的数据实时查询服务,但是HBase非键数据的查询性能很差,论文设计并实现了二级索引方案,有效的解决了HBase非键数据查询的性能问题,之后根据应用系统的需求实现了多种条件的数据查询方式,为了方便用户使用活动库,提供了通用的数据查询接口和友好的数据查询界面。  数据源的持续性和活动库有限的存储空间相互矛盾,为了保证活动库的正常运行,论文设计了数据生命周期管理方案,对活动库的存储空间进行管理。包括数据生命周期管理模型设计,数据存储价值模型设计,周期性数据老化处理方案和周期性数据删除方案。活动库正式上线后会在真实网络环境中长期运行,为了保证活动库的正常运行,论文设计并实现了运维功能模块,有主机状态监控、进程监控、异常管理、日志管理等内容。  为了更好的表现出目标IP地址的通信行为特征,论文设计并实现了目标IP地址可视化分析模块,从时间维度和空间维度对IP地址的通信行为进行了可视化。IP地址角色挖掘作为活动库的重要应用系统,对活动库的查询性能、系统稳定性等方面进行了测试。
其他文献
伴随着互联网的蓬勃发展,IPV6和物联网的实施已经将网络节点扩展到生活的各个角落,而网络的多点通信应用离不开组播技术的支持。在传统的组播中,为每个组播组建立一棵组播树
流体的模拟是计算机图形学领域研究的重点,烟雾作为流体的重要组成部分,其模拟受到愈来愈多的关注。烟雾运动的模拟一般有两种方法,基于粒子系统的烟雾模拟与基于物理模型的
随着互联网迅速发展,网络资源爆炸性增长,传统处理浩瀚Web文档的方式,越来越无法完整、准确和快速的提取蕴含于Web文档中的语义信息,针对这种情况,诸葛海研究员提出了语义链
原研哉的名字很中国,原研“哉”很像是在感慨!他的无印良品,他的《设计中的设计》,他的清酒瓶,都那么的清淡、自然,却又后味十足。最近,在北京他有一个展览,展览中的建筑给人
多源信息融合技术已经在诸多领域中得到了应用,但是目前多源信息融合正面临着日渐突出的信息类型不一致问题。传统的数据融合方法在处理异类信息问题时缺乏有力的数学基础,无
当前数控机床已经在很多机械产品加工行业得到了广泛的应用,数控机床是一个复杂的精密的综合加工平台,随着多学科问的交叉融合,特别是计算机技术、人工智能技术、传感器技术
随着网络技术和电子技术的发展,图像数量呈井喷式增长。如何从网络或者特定图像库中有效地获取合适的图像来满足人们的需求显得尤为重要,成为当今的研究热点。目前,图像检索
辐射虚拟人模型是进行辐射模拟的重要条件,因此研究辐射虚拟人模型的建模方法具有重要意义。目前主流的辐射虚拟人模型是层析式模型,但绝大多数模型都是站姿的——这不符合实
路由协议作为无线传感器网络核心技术之一,它的性能直接影响整个网络的运行效率。机会路由通过一种路由推迟策略充分利用了无线信道的广播特性,可以有效提高无线网络的传输可靠
专利分类可以加快对专利文献的检索速度,方便对专利文献的管理,有着十分重要的作用。近几年,自然语言处理以及信息检索技术的发展,为解决专利分类任务提供了强大的方法论武器