分布式文件系统容错机制的研究与实现

被引量 : 2次 | 上传用户:xb08888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网在当今时代的快速发展和信息技术的普及,人们处理的数据量正在成百上千的增加,海量数据的时代已经悄然来临。在以后的一段时间内,单位企业所产生、应用、存储的数据量将逐渐增长,分布式文件系统的发展与应用也会越来越普及。分布式文件系统是指被文件系统管理的物理存储资源借助计算机网络的手段存储在其它节点上,而不一定直接存储在本地节点上。在一般文件系统服务能力的基础上额外增加了资源共享、高可用性、高可靠性和高存储容量等优点。其中分布式文件系统的基本准则是资源共,要达到这个基本原则,分布式文件系统必须以安全和可靠地方式共享数据。为了保证分布式文件系统的高可靠性和高可用性,发展分布式文件系统的容错技术是非常重要的。核心存储系统是以实现文件系统的高容错性而设计的分布式文件系统。在该系统下的节点的组织形式为分布式的松耦合体系结构,有良好的扩展性。充分考虑了服务器和端系统之间的结合机制,系统的灵活性加强。同时系统的各个模块之间独立,假如某个模块发生异常,在恢复过程中也不会干涉其他模块。本文根据当前比较流行的容错技术和项目的需求,重点阐述了以下三个方面,保证了整体性能和高容错能力:第一:基于客户端触发的Lazy机制的容错设计,在本系统中由客户端来发现客户端缓存的规则与规则服务器上存储的规则不一致,然后客户端再去规则服务器上面去拉取规则,更新自身存储的规则,使其客户端缓存的规则与规则服务器上的规则一致。第二:元数据管理模块的容错设计,主要是通过双机热备份机制来实现的。从机根据日志来复制数据和根据Mysql数据库自带的复制功能实现同步数据、主机与从机根据心跳机制互相监控对方的运行状态和当主机发生故障时,从机自动切换为主机,这三个方面实现了元数据的容错。第三:数据管理模块的容错设计,主要通过冗余副本和故障恢复来实现的,首先副本数量根据客户端的要求来存储,显得更加灵活;故障恢复是根据迁移桶设计来体现的。本系统还实现了系统的负载均衡的设计,增强了系统的整体性能。
其他文献
<正>政协专门委员会是组织委员进行经常性活动的工作机构,是政协广泛联系委员及各界人士的桥梁和纽带,是把委员的个体优势转化为政协工作整体优势的主要载体,是政协工作的重
<正>详细摘要:随着群众生活水平的不断提高,旅游已成为人们生活中的重要休闲活动,而旅游活动对天气、气候变化的高度敏感性,决定了气象因素对旅游活动的重要性,其中气候舒适
高压大功率整流桥,广泛地用于各种测量仪器、家用电器、通讯器材和各类设备中,本文就针对提升这种整流桥芯片的合格率和可靠性问题,进行设计和工艺上的改进研究,使得芯片的合格率
目的评估胶囊内镜在小肠疾病中的诊断价值及其安全性。方法收集2014年1月至2018年12月在昆明医科大学第一附属医院消化内科行胶囊内镜检查的426例患者的疑诊小肠疾病的临床资
社会转型和新世纪伴随着广泛的范式转换。国际管理实践中范式转换的一个突出表现是质量和顾客满意被置于首要地位。随着效率优位向质量优位的转变 ,公共部门质量管理中呈现出
国内外实证研究结果证明高管团队传记性特征对企业绩效有显著影响,但国内外研究结论并不相同,而且不同行业其影响也不相同。本文以中国零售业上市公司为样本对高管团队传记性
本文基于企业异质性的假定,将双向外包模型引入到经典的企业研发决策的分析框架,明确划分了国内研发外包、国际研发外包和双向研发外包的研发模式,重新界定了企业研发的异质
随着我国经济持续发展,中小微企业数量占比逐渐增大,其对GDP的贡献、税收、就业,以及科技创新等方面起着举足轻重的作用。企业发展壮大需要资金的支持,但是由于中小微企业没
阅读教学在英语语言教学中占有非常重要的地位。在大学英语教学中有效地利用体裁分析的方法,可以改进以词汇分析、语法分析、课文翻译为主的阅读教学模式,从而促进大学生英语
背景由于人口老龄化的日趋严重,衰老相关性学习记忆能力减退和老年性痴呆带来的社会问题日益突出。作为一种重要的老年性痴呆疾病,阿尔兹海默病(AD)的患病率随着老人年龄增长而逐