一种高性能HDFS存储平台的研究与实现

被引量 : 0次 | 上传用户:yhj740821
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,云计算成为了互联网行业最热的话题之一。由于其高可靠性,高吞吐量及高可扩展性, Hadoop分布式文件系统HDFS成为了主流的云计算平台的底层存储系统,政府、高校、科研机构或者企事业单位均先后使用HDFS作为其集群的存储平台。然而,尽管HDFS有着良好的表现,其在性能上仍然存在明显的问题。比如NameNode的单点失效,数据存储空间浪费,小文件存储效率低等。现阶段的国内外研究往往仅针对上述单个问题作出分析与研究,没有系统地将HDFS的性能问题进行整合与改进。本文针对这些问题,设计与实现了一个高性能的HDFS存储平台。平台采用内存与硬盘的双重元数据备份机制,在保证NameNode高可用性的同时,降低了集群因NameNode宕机失效所需的恢复时间;在数据的存储上,平台采用基于ErasureCode的编码存储技术,对文件分块后的block数据进行编码存储,降低了集群的副本数量,提高了存储空间的利用率;平台也对HDFS存储小文件效率低的问题作出了改进,采用Hadoop提供的HAR文件格式,将小文件打包上传,减轻了NameNode的元数据存储压力,也同时提高了小文件的读写速度。文章最后通过一系列的实验来验证高性能HDFS存储平台在可用性,存储效率上的优势,满足了系统的设计要求。
其他文献
目的:本课题在论证扩张型心肌病气虚阳虚兼血瘀水停基本病机和益气温阳活血利水基本治法的基础上,围绕改善血液动力学,抑制血浆内皮素作用,纠正神经内分泌和免疫系统失衡,抑
文章以滇西宁蒗县为高寒山区的代表研究地点,通过分析该地区2004—2016年土地利用情况与经济发展的关系,归纳总结出两者的特点,并对耕地、交通住房以及城市建设等用途的土地
肥胖是一种多因素引起的慢性代谢性疾病。单纯性肥胖是肥胖中最常见的一种,主要是因为热量摄入过多,消耗过少而造成的。它又是多种疾病的危险因素,如糖尿病、冠状动脉粥样硬
余光中“右手写诗,左手写散文”,同诗歌一样,其散文也闻名海内外。本论文以余光中的散文为研究语料,通过对其散文的阅读和整理,研究作者在运用比喻时的特点。在研究中,结合纸
目的:系统评价中药复方治疗子宫内膜异位症的疗效,为选择中医药治疗的患者和医生提供当前可得到的最好证据以帮助临床决策,并为进一步研究提供依据和奠定基础。 方法:采用
改革开放以来我国经济飞速发展,各民族和谐相处,社会各项事业不断腾飞。教育是推动国家不断发展的必要因素之一。单一化的公办学校并不能完全满足社会的需求。民办学校是从事公
近年来 ,风险管理已成为内部审计的重要领域。本文在阐述了风险、风险管理的涵义的基础上 ,对内部审计参与风险管理的动因、内部审计如何参与风险管理进行了探讨
以盛泽金融街及城管楼工程为例,结合该项目周边环境、地质条件及工期要求,对淤泥质土内双排桩选取原因及双排桩的应用进行了论述,结果表明:基坑开挖后,基坑外侧在经历了大量
目的:心力衰竭(chronic heart failure)是绝大部分心脏疾病的终末结局,慢性心衰的发病机制复杂,尚未能完全明确,目前认为由神经及体液调节机制共同代偿所致。肾素-血管紧张素-醛固
综述了乳酸菌胞外多糖的研究,主要包括乳酸菌胞外多糖的生物合成及其遗传调控、发酵生产、多糖的分子结构、理化特性及应用