Hadoop平台下的海量数据存储技术研究

被引量 : 0次 | 上传用户:bailiankk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展、互联网用户的增加,互联网中的图片数据也急剧膨胀。企业的图片数据规模可达TB到几百TB。一般情况下使用分布式文件系统来处理这些图片。Hadoop是近年来出现的处理海量数据的分布式系统。具有可靠性好、存储容量大、部署简单、可维护性更好等特点。基于以上两点,本文对Hadoop在图片存储方面的性能做了相应的研究,设计了针对中小企业的基于Hadoop平台的图片存储系统。具体研究内容如下:1.Hadoop平台的工作原理从数据组织、数据流等几个方面比较深入地研究了Hadoop平台中数据的存放、读写原理。还研究了分布式计算框架MapReduce的工作过程。2.基于Hadoop平台的图片存储系统的设计根据需求分析,将系统的功能设计为普通用户模块、管理员模块、日志分析模块、客户端和系统监控等模块。结合Hadoop、Tomcat、Mysql等软件完成了系统的架构设计。根据系统的功能设计了UML类图,最后设计了Mysql数据库的表。3.图片存储系统的实现首先搭建了Hadoop集群,接下来完成了系统各部分的实现过程。重点实现了对Hadoop的操作和日志分析部分。4.Hadoop平台和Web的整合本人在研究Hadoop和JSP的基础上,对二者进行了整合,即可以通过JSP页面来访问Hadoop存储的图片文件。最后综合本文的研究,提出相应的测试方法,来验证系统的性能和可靠性。
其他文献
大学生是国家培养的高级专业人才,是非常宝贵的人才资源,是祖国的未来和希望。当代大学生的思想政治素质整体上是良好的,然而,在这个多元文化和物欲横流的社会里,部分大学生
我国事业单位的管理、资源分配、收入分配等一直都沿用国家机关的模式,但随着我国市场化经济体制的不断完善,事业单位这样的模式已难以适应中国市场经济的需求,凸显处许多问
结合协同学理论,针对泉州制造业的情况,分析制造业转型升级中存在的影响因素;根据环境(硬、软)、行业协会、政府为影响制造业转型升级的控制参量,企业、产业及产业链协同等为
本试验采用过硫酸钾作为氧化剂,氢氧化镍为原料,利用液相氧化法制备羟基氧化镍,并通过X射线衍射(XRD)、扫描电子显微镜(SEM)、傅里叶红外变换光谱(FTIR)以及热重分析(TGA)对
为促进物联网商业模式理论研究深入开展,从而指导相关实践破除商业模式制约,对物联网商业模式研究现状进行了总结与评价,并从研究视角、研究内容以及行业背景方面提出了物联
农民工群体是影响我国政治稳定和经济发展的重要社会阶层。目前,我国外出打工农民工约1.5亿人,新生代农民工在其中占到60%,大约1个亿。他们出生于1980年以后,受教育水平相对较高,
《刑事政策与刑法》是卢建平教授在2004年底出版的一本专著。本书分两个部分:一是刑事政策的一般理论;二是刑事政策视野中的刑法问题。其中第一部分主要介绍刑事政策的概念及
煤矿井下机电设备的维护与维修工作是煤炭企业生产管理中十分重要的一部分,确保了煤矿井下机电设备的正常运行。主要阐释了我国煤矿井下机电设备维护与维修工作中存在的问题,
随着世界经济的发展和人们对自我认识的增强,休闲近年来逐渐成为热门话题。休闲活动的方式和种类日渐多样化,休闲建筑的类型和式样也日趋复杂多样。在这样多元的影响下,休闲
目的探讨体外骨髓间充质干细胞(BMSCs)对实验性自身免疫性脑脊髓炎(EAE)模型特异性抗原髓鞘碱性蛋白(MBP)68-86刺激淋巴细胞增殖的免疫调节作用。方法通过将非特异性抗原Con