论文部分内容阅读
随着数据量的飞速增长,数据密集型应用越来越多,分布式文件系统受到越来越广泛的应用。但是目前以HDFS为代表的主流分布式文件系都是采用元数据和文件数据分离管理的模式,即将命名空间和文件元数据保存在单独的元数据节点(如HDFS中的Namenode)。因此元数据节点的可用性决定着整个分布式文件系统的可用性。本文元数据节点的高可用性问题进行了全面深入的研究,包括分布式文件系统中元数据管理模式以及各自的优缺点；分析提高分布式文件系统中元数据服务器的关键技术,即采用冗余备份的方式；并且介绍了目前常见的用于构建高可用性系统的DRBD技术和Pacemaker技术。针对对高可用HDFS文件系统的需求分析,我设计并实现了基于DRBD和Pacemaker技术的高可用HDFS管理平台,该解决方案包括以下几个主要功能：(1)采用Active/Cold Standby的Namenode高可用性模式,使得Standby Namenode在Active Namenode在发生失败之后可以快速接管工作。(2)利用DRBD来实现Active Namenode和Standby Namenode之间元数据的共享和备份功能；并且利用Pacemaker的集群服务管理功能,实现对Namenode的状态检测和自动切换功能。(3)提供了Hadoop系统管理平台。通过该管理平台,用户可以快速部署高可用性HDFS文件系统,而且可以实时监控HDFS文件系统状态,并且通过管理平台执行常见的管理操作。通过对该高可用性系统进行的测试实验,结合SecondaryNamenod勺检查点功能,该高可用性系统能够在分钟级别完成故障恢复工作,而且只是轻微影响Namenode元数据操作性能以及HDFS文件系统读写性能。