基于Hadoop的网络安全日志分析系统的设计与实现

来源 :第25次全国计算机安全学术交流会 | 被引量 : 0次 | 上传用户:huawei_2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统分布式数据库因其扩展性、容错性、和可靠性等方面存在一些不足,本文提出了一种基于Hadoop系统的两个子项目HDFS和MapReduce的网络安全日志分析系统的设计与实现方法.通过实验,证实我们设计的系统是可以正常运行的,性能也能接近现有分布式数据库系统。但我们的系统在可扩展性、数据可靠性、系统开销、作业可靠性等方面优于分布式数据库。通过将节点注册到Namenode,就可以实现系统扩容;通过注销,就可以实现系统的缩容,系统通过检查副本数,将注销节点上的数据块,平均存储到其他机器上。由个人PC组成的Hadoop集群的软硬件成本都会远小于分布式数据库所需要的软硬件成本。通过任务的分解和并行执行,Hadoop系统的执行作业的性能也能接近传统分布式文件系统的性能。Hadoop系统通过自动检查副本数也验证数据校验和,保证数据可靠性;通过自动任务恢复机制,保证执行的高效性。
其他文献
阐述了社区慢性阻塞性肺疾病防治的紧迫性以及社区"三认"教育管理在COPD肺康复中的作用,主要包括在社区中开展"认知、认可、认同"教育管理,建立适合于社区开展的"三认"教育管
总结了早产儿静脉营养外渗的护理重点及预防措施。护理主要包括紧急处理、渗出的护理、水泡和溃烂的护理及预防感染的方法,并针对营养液外渗原因提出了预防的有效措施,如加强
以《北美自由贸易协定》(NAFTA)中投资专章的环保规则为研究对象,并结合两个典型的案例,运用案例分析的方法,探究目前世界上处理国际投资与环境保护的冲突的做法。经研究表明
为了简化采用满周期等相移算法的在线相位测量轮廓术(PMP)在实际测量过程中系统装调环节的繁杂程度,同时避免栅线方向和运动方向不严格平行引入附加相移降低解相精度,提出了
通过对供应链环境下研发新产品目标成本管理方法主要文献的归纳分析,以及对企业在供应链环境下研发新产品中运用目标成本管理方法的现状调查,发现约三分之二的被调研企业没有
<正>课程是培养学生核心素养的重要载体,如果说教育是一种供给,课程就是其中的核心供给力。在清华附小"1+X课程"体系中,健康体育与书香阅读可谓是两大亮点,更是学校通过课程
春节期间,杭州市价格主管部门根据国家发展改革委和省物价局关于加强2017年春节期间市场价格监管的工作要求,以规范节日市场价格秩序、优化节日市场消费环境、切实保障消费者
目的探讨分析比较影像学(comparing imaging,CI)方法在本科生骨科教学中的应用效果。方法本研究将2010年5月c2011年5月在长海医院骨科实习的60名五年制临床医学生随机分为常规
目的探讨肾小球补体C4d沉积在评估IgA肾病严重程度及判断预后中的意义。方法免疫荧光法检测IgA肾病患者肾组织C4d沉积情况,分析C4d沉积与临床、病理指标以及肾脏缓解间的关系