【摘 要】
:
如今,信息社会已进入云计算时代,数据的生产速度越来越快,一些企业和组织机构积累的数据量也越来越庞大,海量数据的处理和应用已成为当今信息技术领域所面临的巨大难题。Hado
论文部分内容阅读
如今,信息社会已进入云计算时代,数据的生产速度越来越快,一些企业和组织机构积累的数据量也越来越庞大,海量数据的处理和应用已成为当今信息技术领域所面临的巨大难题。Hadoop作为处理海量数据的一大利器,是当前云计算技术中最热门的话题之一,而与Hadoop同一阵营的HBase则为海量数据的实时读写提供了一套解决方案。HBase是Apache Hadoop生态圈的重要组成部分,通常使用Hadoop文件系统(HDFS)作为其底层的存储平台,是一个高可靠性,高性能,面向列且伸缩性强的分布式非关系数据库。HBase在起初设计时忽略了许多SQL操作并着重加强了对系统高性能、高容量、高可靠性和可伸缩性等特性的开发,已成为现今最流行的NoSQL数据库之一。本文首先从当前形势出发,探讨了当前云计算时代的热点问题,归纳总结出云计算的概念和技术体系结构,理清了当前技术变革的原因、动力和方向。然后,通过对Hadoop两个核心组件和NoSQL理论的研究和介绍,详细的说明了当前业界用以处理海量数据的最先进的分布式系统的设计思想和架构技术,阐述了HBase诞生的技术基础和理论基础。随后详细的阐述了HBase系统的设计原理和它的内部构造,并进一步对其访问流程作深入的探究。在此基础上,本文提出优化HBase系统的思路和出发点,并给出了在实践操作中总结出的几个简单有效地的优化方法。本文在实验部分提出并实施了基于HBase的小文件系统的设计方案。在HBase表结构设计上,使用了简单的二级索引技术。对于实验系统的上传下载过程和表结构的设计及访问过程等全部功能进行了详细的设计和编码实现。
其他文献
随着企业信息化的发展,一个企业往往有很多种异构信息系统在同时使用,形成一些“信息孤岛”,在很大程度上限制了信息系统在企业运作中的作用。例如,在“信息孤岛”下,企业信
远程教育的快速发展,促进了虚拟实验环境的研究,特别是接口类可编程虚拟实验平台的研究.目前对可编程虚拟实验的研究比较滞后,不能满足远程教育日益发展的需求.在国家创新基
随着信息技术的迅猛发展,P2P网络受到了广泛的重视,并已成为当前最为流行的网络共享应用之一。由于用户并不总是希望找出所有的精确结果,而只需要排列出最符合查询的前k个结
随着下一代互连网IPv6的快速发展,作为其重要路由协议的OSPFv3越来越受到路由设备与软件开发商的重视,很快从实验室走向产品化.进行OSPFv3路由协议的一致性测试对实现该协议
联机分析挖掘技术融合了联机分析处理技术和数据挖掘技术,成为决策支持应用系统新的技术依托。该技术的研究目前处于起步阶段,关于联机分析挖掘技术的基本原理、关键技术、系
该文主要研究有限状态系统中的模型检测知识的问题.关于智能体知识的计算在不同的观察下计算方法不同,该文研究了在OBS(Observational)观察和SPR(Synchronous Perfect Recall
随着计算机以及互联网技术的飞速发展,计算机和网络正不断地蔓延到人们的工作和日常生活当中,越来越多的人利用计算机和互联网查询资料、网络购物。计算机和互联网在给人们带
普及计算设备及无线网络技术的发展使移动电子商务成为了新的研究及应用方向.虽然移动电子商务被人们寄于厚望,但其应用在全球范围内仍处于起步阶段.就电子商务的发展历史来
随电力调度自动化的需求不断提升,监视控制与数据采集SCADA(Supervisory Control And Data Acquisition)系统自诞生至今,一直在不断地发展着.为实现更大范围的数据交换和资源
本文在分析Web服务这种新型的分布式计算模型并将之与传统的分布式计算模型比较的基础上,对传统的多数据库系统结构进行了改进,给出基于Web服务的多数据库体系结构模型,并以此为