论文部分内容阅读
随着互联网在当今时代的快速发展和信息技术的普及,人们处理的数据量正在成百上千的增加,海量数据的时代已经悄然来临。在以后的一段时间内,单位企业所产生、应用、存储的数据量将逐渐增长,分布式文件系统的发展与应用也会越来越普及。分布式文件系统是指被文件系统管理的物理存储资源借助计算机网络的手段存储在其它节点上,而不一定直接存储在本地节点上。在一般文件系统服务能力的基础上额外增加了资源共享、高可用性、高可靠性和高存储容量等优点。其中分布式文件系统的基本准则是资源共,要达到这个基本原则,分布式文件系统必须以安全和可靠地方式共享数据。为了保证分布式文件系统的高可靠性和高可用性,发展分布式文件系统的容错技术是非常重要的。核心存储系统是以实现文件系统的高容错性而设计的分布式文件系统。在该系统下的节点的组织形式为分布式的松耦合体系结构,有良好的扩展性。充分考虑了服务器和端系统之间的结合机制,系统的灵活性加强。同时系统的各个模块之间独立,假如某个模块发生异常,在恢复过程中也不会干涉其他模块。本文根据当前比较流行的容错技术和项目的需求,重点阐述了以下三个方面,保证了整体性能和高容错能力:第一:基于客户端触发的Lazy机制的容错设计,在本系统中由客户端来发现客户端缓存的规则与规则服务器上存储的规则不一致,然后客户端再去规则服务器上面去拉取规则,更新自身存储的规则,使其客户端缓存的规则与规则服务器上的规则一致。第二:元数据管理模块的容错设计,主要是通过双机热备份机制来实现的。从机根据日志来复制数据和根据Mysql数据库自带的复制功能实现同步数据、主机与从机根据心跳机制互相监控对方的运行状态和当主机发生故障时,从机自动切换为主机,这三个方面实现了元数据的容错。第三:数据管理模块的容错设计,主要通过冗余副本和故障恢复来实现的,首先副本数量根据客户端的要求来存储,显得更加灵活;故障恢复是根据迁移桶设计来体现的。本系统还实现了系统的负载均衡的设计,增强了系统的整体性能。