基于HDFS分布式并行文件系统副本策略研究

被引量 : 0次 | 上传用户:gby603
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着科学技术的进一步发展,全球数据量出现高速增长,特别是更加注重用户的交互作用的Web2.0的出现,改变了过去用户只能作为互联网读者的角色,用户成为了互联网内容的创作者。在这样的海量信息环境中,传统的存储系统已经不能满足信息量高速增长的要求,在容量和性能的要求上存在瓶颈,诸如硬盘数量、服务器数量等的限制。HDFS(Hadoop Distributed File System)是不同于传统分布式并行文件系统的,运行于廉价的机器上的,具有高吞吐量、高容错性、高可靠性的新型分布式文件系统。具有数据分布存储与管理功能,并提供高性能的数据访问与交互。在分布式并行文件系统HDFS中,副本是其重要的组成部分,副本技术更是协调互联网中各个节点资源完成高效且工作量较大的任务,实现这一任务的途径即通过副本放置、副本选择、副本调整等方式提高数据在各节点间的有效传输。本文首先对副本管理策略的研究现状作了分析,总结了前辈们在该领域已有的研究成果以及它们的局限性;在此基础上对HDFS系统架构及其读写机制等关键技术进行深入分析和阐述,并在此基础上建立HDFS动态副本管理模型,从副本放置和副本删除两个方面展开了论述。然后,根据副本放置策略的改进思想进行算法的设计,提出了基于距离和负载信息的副本放置策略,引进平衡因子调节距离和负载的比重满足不同用户对系统的要求;同时,根据副本调整阶段的需求,改进副本删除策略,引入副本评价函数,提出基于价值评估的副本删除策略;最后,通过仿真模拟实验,对本文提出的副本策略进行有效性验证,并与HDFS默认副本策略进行对比分析。本文的主要贡献在于:1)分析了HDFS分布式并行文件系统与传统分布式系统的区别,重点与GFS进行了对比分析,分析两者的设计思想和原则,比较副本管理策略的异同,说明HDFS是GFS的简化设计,具有更加灵活的操作性。2)提出了一种基于距离和负载信息的副本放置策略。该策略改变了HDFS默认副本放置策略的随机存储算法,综合考虑了副本大小、传输带宽以及节点负载三方面影响因素,计算出节点的效用值,优先选择效用值大的节点存储数据块,并引入平衡因子,满足不同用户对系统性能的要求。最后模拟实验验证了本文算法在负载均衡上较HDFS默认放置策略具有明显的优越性。3)提出了一种基于价值评估的副本删除策略。当有新的副本写入请求时,Namenode节点随机获取一组Datanode,选择一个节点写入数据。若被选择的节点已有副本数量太多,负载太重,性能就不能有效发挥;HDFS默认副本调整策略没有考虑到这一点,改进的策略通过价值评估函数计算副本的价值,并进行排序,当节点负载过大时,删除价值最小的副本,以此来释放节点空间,充分发挥节点效用,实验表明,在大文件写入测试中,本文策略较HDFS默认策略具备更高的性能。
其他文献
研究背景早产儿从肠外营养转换到完全经口喂养通常需要经历5~7个阶段,为全肠外营养→部分肠外营养+管饲→管饲→管饲+奶瓶喂养→奶瓶喂养→奶瓶喂养+母乳喂养→母乳喂养,其中
当人类迈入21世纪,国际间的竞争日趋激烈,综合国力的较量日益为世人所关注,各国力图占领人才高地,而教育的改革首当其冲。顺应国际教育改革的趋势,我国新一轮课程改革逐步走
我国社会正面临一场深刻的变革,基层社会治理正表现出多方力量的合作与博弈。政府正逐步从"掌舵人"的位置退居幕后,从全能政府转为服务型政府,为精准把握人民诉求,构建精细化治理,政府将网格化技术运用到社区治理当中。自2004年北京东城区的“万米网格”成功试点以来,该区在管理上取得了不俗成效,如今网格化治理方式已在全国各地推广开来。近年来,江苏省已逐步落实网格化管理,提出“一张网、五统一”的要求,旨在整合
目的探讨高血压病(EH)辨证分型与胰岛素抵抗(IR)的关系。方法用葡萄糖氧化酶法及放免双抗体法测定空腹及服糖后1h、2h血糖、血胰岛素值,并计算胰岛素敏感指数(ISI)。结果EH及其肝火亢盛、阴虚阳亢
全国少数民族传统体育运动会不仅是一个体育运动会,更是全国各族人民交流的重要平台。第九届全国少数民族传统体育运动会是贵州省举办的首个全国性综合体育赛事,这对贵州省来说
墨子与孟子是我国先秦时期有重大成就的思想家。墨子创建了墨家学派,孟子是战国时期儒家的代表人物之一,他们都形成了各自独特的思想体系。而义利观则是他们思想体系中特别重
目的:探讨中西医结合治疗慢性阻塞性肺气肿的临床疗效。方法:对我院在2010年2月至2013年2月收治的168例慢性阻塞性肺气肿患者随机分为对照组和观察组,对照组单独使用西药进行
“三个代表”是江泽民总书记“七一”讲话的重要思想。高校的党建工作应贯彻“三个代表”的精神。本文拟通过对加强高校党员先进性教育 ,抓好青年学生入党过程中先进性评价问
着痹是痹证的一种证型,风寒湿三气杂至合而为痹,闭阻经络,阻涩气血。若感受外邪以湿偏盛,表现为肢体关节重着、酸痛,痛有定处,手足沉重,肌肤体关节麻木不仁,苔白腻,脉濡缓,则辨证为着痹
通过企业大规模定制及其影响分析,对大规模定制企业的快速反应模式与快速反应机制进行了研究。并从企业快速反应能力需求及敏捷供应链的角度探讨了企业实施大规模定制和快速