基于Mapreduce的并行异常报文生成引擎系统设计与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:yinqing68
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
到目前为止IETF已公布的网络协议有5000多种,面对增长速度逐渐加快的网络协议数量,健壮性测试的难度日益加大;对于每个具体协议的测试同样困难,为了达到完全测试,其要求的测试用例集合非常庞大,对于一个协议头长40字节的数据报文,测试集合达到2^40个。因此,测试用例的自动生成及测试系统成为健壮性测试的关键因素,是协议测试的两大基本问题。Hadoop由Apache Software Foundation公司于2005年秋天作为Apache Lucene项目的子项目Nutch的一部分正式引入,Hadoop包含两个子项目,分别是Hadoop HDFS和Hadoop Mapreduce, Hadoop HDFS是一个分布式文件系统,Hadoop Mapreduce是一个分布式并行处理框架。本文在开源软件Apache Hadoop Mapreduce的基础之上,将传统的异常报文串行生成算法并行化。其中并行化,负载均衡、容错处理不需要用户关心,完全由Mapreduce框架负责。在异常报文的生成处理中,报文首先经过一个Vireshark-Like模块解析形成字段,然后以字段作为异常生成的基础。在报文生成过程中引入了模糊处理的方法,在字段的基础上进行模糊算法处理。本文的主要研究成果包括:1.研究了Hadoop Mapreduce并行处理框架,分析清楚其原理和并行处理的流程;2.根据网络协议分层透明设计的原理,提出了分域模糊测试集的概念,按照字段进行模糊处理,测试用例的顺序结构更加清晰并便于分析;3.设计并实现了并行的异常报文生成算法,在原有的串行算法基础之上,根据Map/Reduce编程特点,实现了并行算法;4.通过实验研究了并行算法与串行算法之间的性能关系,以及PC集群数量对性能的影响。
其他文献
随着图像采集技术、传感技术、互联网技术的迅速发展,现实生活中数字图像的数量呈现爆炸式的增长。面临数量巨大、内容丰富的图像数据库,如何从中准确、快速地检索到用户感兴
目标跟踪是计算机视觉领域的主要研究方向之—,在视频监控、军事制导、无人驾驶、人机交互等领域得到了广泛应用,深受研究者们的广泛关注。作为目标跟踪技术的一个重要分支,
在过去几年中,软件的构建、部署和运用发生了重大变化,RichInternet Application(RIA)将桌面软件的丰富功能与Web应用程序的广度结合在一起,提供良好的用户交互体验和更好的
随着医学影像技术的发展,医学影像设备在医院得到了广泛应用,积累了大量病人的医学图像数据及相关医学参数。利用数据挖掘技术挖掘出隐含在这些海量图像数据中的有用信息,不但可
随着网络的普及,在线文献系统也随之发展,出现了如DBLP、微软学术等以作者为核心的文献集成系统,而同名作者识别是该类系统亟待解决的问题。本文将作者识别分为作者重名消歧与实
随着社会经济生产发展的需要,高效安全的数字化采矿技术成为了是我国矿业生产的必然趋势。爆破是矿山生产过程中的一个主要先行环节。爆破矿岩的数量多少和质量优劣,对后续生
无线通信技术作为一种方便、快捷的通信技术,目前已经广泛地应用于人们生产生活的各个方面,例如因特网、手机、商业和医疗等。由于无线信道的不稳定性和无线信号多径传播的特点
科学技术和信息科学的发展带给人们全新的生活体验,但也给人们的安全带来了一些威胁。安全访问控制和授权技术成为研究信息安全的关键问题,在信息资源及用户庞大的信息系统中尤
近年来,各种存储媒介中产生的海量图像在极大的丰富人们视觉生活的同时,也为图像的管理带来了许多的不便。由于大部分的图像是通过数码产品拍摄,通常只是具有简单的数字序列名称
随着人们对现实环境的深入探索,发现在某些特定的网络环境或应用场景下,由于地理位置或基础设施建设等因素的限制,无法保证稳定全连通的网络状态,导致传统网路通信手段难以为