面向大数据分布式存储的动态负载均衡算法

来源 :计算机科学 | 被引量 : 0次 | 上传用户:coolfish150
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Federation)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题。针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能;同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性。该算法在试验验证中达到了较为理想的效果。
其他文献
教育部于2003年4月公布了新的《普通高中生物课程标准》,其中明确提出了我国高中生物课程的基本理念,同时从知识、情感态度价值观和能力三个维度明确了课程目标,这就意味着教
随着3G网络的发展及智能终端的普及,移动互联网涌现出大量的创新应用,如移动支付、应用商店、移动社交等。本文总结了移动互联网涉及的关键技术,对移动互联网主要业务应用进
改性磷铝酸盐水泥与常规油井水泥相比具有优异的耐腐蚀性,但是该水泥的稠化时间不易调节。而稠化时间对固井施工安全起到了决定性的作用。为满足固井工程施工需求,对改性磷铝
<正>"周克华持枪抢劫案"是近年来鲜有的特大连环杀人案,此人自2004年以来,在江苏、湖南和重庆等地持枪抢劫,先后杀害11人,公安部门采取全国联动,8年追凶,决战4天,终将周克华
随着证券业的发展,投资基金特别是规模日益增长的股票型开放性开放式基金逐渐成为人们投资的热点和重点,因此,对股票型开放式基金绩效影响因素的研究成为理论界关注的热点。
随着我国社会主义市场经济体系的建立、发展和完善,建设规范的信用制度和诚信体系的需要日趋迫切,而作为防范和减少风险、促进商品流通、便利资金融通的一种可行措施,保证担
网络虚拟游戏是互联网蓬勃发展的一项产物,在当今全球范围内受到普遍的欢迎,根据业内人士介绍,网络游戏可能是IT业内唯一盈利的机会。在我国,至2003年,网络游戏产值就已经突
随着国家、地方、学校三级课程管理政策的实施,校本课程开发在我国悄然兴起。但是,在城市学校的校本课程开发进行得轰轰烈烈的同时,农村学校在这方面却是举步维艰。因此,了解
<正> 除垢剂是工业和国民生活中必不可少的一种化工产品,目前国内的除垢剂多为适合工业锅炉等设备使用的烈性除垢剂,这种除垢剂由于是采用了甲醛、甲苯、甲醇或苯胺等有毒有
20世纪70年代以来,指数基金作为一种低成本、注重风险控制的基金品种,在国际资本市场取得了不俗的业绩和惊人的发展。从国外的实践看,指数基金具有规避投资风险、投资费用低