论文部分内容阅读
传统分布式数据库因其扩展性、容错性、和可靠性等方面存在一些不足,本文提出了一种基于Hadoop系统的两个子项目HDFS和MapReduce的网络安全日志分析系统的设计与实现方法.通过实验,证实我们设计的系统是可以正常运行的,性能也能接近现有分布式数据库系统。但我们的系统在可扩展性、数据可靠性、系统开销、作业可靠性等方面优于分布式数据库。通过将节点注册到Namenode,就可以实现系统扩容;通过注销,就可以实现系统的缩容,系统通过检查副本数,将注销节点上的数据块,平均存储到其他机器上。由个人PC组成的Hadoop集群的软硬件成本都会远小于分布式数据库所需要的软硬件成本。通过任务的分解和并行执行,Hadoop系统的执行作业的性能也能接近传统分布式文件系统的性能。Hadoop系统通过自动检查副本数也验证数据校验和,保证数据可靠性;通过自动任务恢复机制,保证执行的高效性。