HDFS优化研究及其在云存储平台中应用

被引量 : 5次 | 上传用户:saood
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化时代的发展,人们更多的依赖网络,导致互联网用户的激增,网络信息数据量呈爆炸式增长,这些数据中有百分之八十是文件图像音频等大文件,数据量甚至会达到PB级如此海量的数据存储成为当前研究的热点,也逐渐地成为制约企业长足发展的问题于是,构建高可用的存储网络成为当下的研究热门,分布式文件存储系统便应运而生HDFS运用于海量数据存储的场景,但是在架构上仍存在不足,因此,本文提出一种改进的方案并将优化后的HDFS应用到实际场景中所做的主要工作如下:首先,针对HDFS的单一namenode架构问题,提出搭建datanode集群的优化方案在该方案中搭建datanode集群,每个小集群中都有一个namenode管理集群中的各datanode,同时将namenode中文件元数据信息缓存到datanode集群中,这样就减少了客户端与namenode的交互所带来的namenode的内存压力优化后的HDFS中会包括多个namenode,其中某一个集群中的namenode失效也不会导致整个HDFS瘫痪此外,设计了索引服务,管理文件到namenode的映射,从而在架构上提升整体HDFS的性能其次,搭建优化后的HDFS集群并实际应用到基于云计算的高校综合信息管理平台,解决了平台上各应用的文件存储问题在优化后的HDFS集群上用java语言设计实现了供各应用存储的HDFS存储服务和RMI远程调用存储服务为了将平台上各应用上传的文件进行统一管理,使用ZK+Spring+Struts+Hibernate(ZSSH)框架java语言设计实现了平台文件管理存储系统最后,使用JMeter测试工具对优化前后HDFS集群进行测试通过在相同并发情况下成功上传文件的响应时间对比进行分析实验结果表明在大并发量的情况下上传文件,优化后的HDFS响应时间更短, HDFS的性能得到一定改善
其他文献
<正>3月,上海艺术界迎来了一年中第一波"热浪":"创意英伦盛典"活动。此前对英国政府"创意英伦盛典"的官方场地,业内早有传言且说法不一。当结果揭晓时,让不少人惊讶的是居然
<正>位于黄河三角洲胜利油田主产区的山东省东营市,大力扶持和引导石油装备制造业发展,促进黄河三角洲开发建设,现已形成集石油装备研发、制造、服务及内外贸于一体的完整产
薄层色谱法目前是医药生产和化工染料分离有效成分的常用方法之一,薄层色谱法分离混合物的优点:分离速度快、效率高、适用性强、操作简便等。本文以薄层色谱法分离二甲基黄和
新的课程标准对作文教学提出了这样的要求:"珍视个人的独特感受","力求表达自己对自然、社会、人生的独特感受和真切体验"。倡导自由表达,真情写作的教学理念。然而作文教学
<正>中国汉字的特殊性,使得中国书法与设计有着密切的联系。大部分汉字是属于象形文字(Hieroglyphic),来自于图画文字,是一种最原始的造字方法,图画性质减弱,象征性质增强,所
服装设计是面料、造型、色彩等设计元素综合运用的设计艺术,本文论述了面料在服装设计中的重要性和服装面料创意设计方法。
本文主要涉及了对焓湿图中主要的九个状态参数及状态参数之间相互关系的分析和理解,并用尝试采用图示的方法加以分析说明以便于记忆理解并进一步掌握焓湿图。
等速肌力测试和训练技术是一项用于肌肉功能评定和肌肉功能训练的新的和有价值的技术.研究表明,通 过等速肌力测试可对肌肉功能进行定量和客观的评价,可用于运动员运动损伤的
<正>任何一种独立的文化都有其基本象征,仅仅观察同一种艺术类型,也可以看出文化象征性。因此,中西雕塑艺术之别也可成为中西文化差异性的形象提示。我国的雕塑文化和我国几
<正>去年,从中央到地方各项规定、禁令不断出台,2013年也因此被公务员称为"禁令年"。近日,新京报就"中央禁令对公务员影响",在中国东部、中部、西部三个地区的北京、黑龙江、