云计算环境下大规模数据存储技术研究

被引量 : 27次 | 上传用户:dfhg54h446jn6gfn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
我们正在进入大数据的时代。首先,随着社交网络服务SNS (Social Networking Services)等Web2.0应用流行、物联网的部署和发展、移动通信和移动互联网的普及,新的数据来源渠道不断出现。其次,高速Internet使数据的复制和传输越来越容易。最后,越积越多的历史数据有待我们存储和处理。根据IDC的调查,2006年全球电子形式数据的数据量约为0.18ZB,预计2020年,全球的数据量将达到35ZB。这些海量数据由结构化数据和非结构化数据组成。目前,数据存储技术可分为两类:关系数据库技术和NoSQL数据库技术。关系数据库技术是一项研究时间较长、技术相对成熟、应用较为广泛的数据存储管理技术,常用于结构化数据存储。关系数据库技术具有强的事务性和数据一致性要求,随着存储数据规模的扩大,其复杂度越来越大。NoSQL (Not only SQL)是近年来因海量数据存储和处理的需求发展而来的一类数据存储方案。NoSQL的数据存储可以不需要固定的模式,常会避免使用跨数据表的JOIN操作,一般具有较好的水平可扩展性。两种数据存储和管理技术各具优点,也各有不足。如何在一个系统中融合两种技术,充分利用其优势,是一个值得研究的问题。本论文研究并实现了集成两种数据存储技术进行数据存储的方案——开发基于关系数据库和NoSQL数据库的存储中间件系统。关系数据库和NoSQL数据库共同构成数据存储层,在数据存储层之上是存储中间件。中间件负责提供所有和数据操作相关的接口,它包括配置模块、数据关联模块、开关模块、读模块、写模块、查询模块、删除模块和数据迁移模块。通过存储中间件,用户程序可以把结构化数据存储到关系数据库;把字符型的非结构化数据存储到NoSQL数据库:也可以把结构化数据的记录同时存储到关系数据库和NoSQL数据库或者把包含结构化数据和非结构化数据的数据记录进行拆分同时存储到关系数据库和NoSQL数据库,拆分的过程由存储中间件的开关模块和写模块完成,存储中间件通过自定义规则,保证不同数据库的数据的关联性和一致性。存储中间件系统分别实现查询接口和读数据接口,查询接口操作关系数据库的数据,读数据接口操作NoSQL数据库的数据,这样系统既满足了复杂SQL查询的需求又满足了高并发读、分析数据的需求。另外,存储中间件实现了数据在关系数据库和NoSQL数据库之间迁移接口,与Sqoop的数据迁移相比,数据从NoSQL数据库向关系数据库迁移不再需要进行数据类型的判断和转换,直接从NoSQL数据表的列名中获得数据类型,使得迁移过程更加高效。为了验证系统的性能,我们对存储中间件系统进行了数据管理相关功能的实验,结果证明了系统的可行性和有效性。
其他文献
随着社会的进步,多方位互联已经成为技术前进的方向。物联网被誉为下一代互联网的网络模型,受到了越来越多的国家和企业的重视。物联网由不同应用场景的无线传感网、电信传送
私募股权基金作为全球金融市场上的一种重要投资形式,近年来在我国迅速发展起来,己然成为我国资本市场和实业投资的重要力量。然而私募股权投资在中国尚处于起步阶段,私募股
基础教育新课程改革十多年来,尤其是近年来国内关于生命教育的介绍和解读,使得教师对学生的认识、理解不断全面、深入,“以人为本”理念逐渐深入教育。生命的独特性、生成性
目的:1、编制《中学教师职业幸福感问卷》、《中学教师职业幸福感影响因素问卷》,并进行标准化检验;2、调查中学教师职业幸福感现状、影响因素及其在人口学变量上的差异;3、分析
在当今世界城市化进程加速的背景下,伴随人口的激增,使得城市原本紧张的土地资源更加匮乏,城市原有基本功能已无法满足公众生活水平提高的需求。在市场经济影响下,老城区改造
托尔斯泰与劳伦斯作为特定悲剧时代的清醒感知者,他们在创作中对女性的心理和命运都进行了深刻的探索和思考。安娜与康妮美丽聪颖、气质高雅,她们热烈地追求着真挚的爱情,改
随着互联网的高速发展,网络应用层出不穷,多种多样,但是由于互联网的交互与开放性使得网络应用良莠不齐,又由于政府、运营商、企业等组织的需要,并让网络管理人员能够及时了
射频识别(RFID)技术作为一种非接触式的自动识别技术,通过射频信号完成对物体的识别以及数据的交换,因其具有识别距离长、识别速度快、可多物品同时识别等优点,RFID技术已被
本研究在综合分析了冲动性购买的文献后,深入探索其影响因素的构成及影响机制。本文以情境理论为研究出发点,研究购物场所独立于产品和消费者以外的环境类因素对冲动决策过程
近年来,妨害民用航空客舱安全的非法干扰行为频频出现,极大地破坏了良好的航空秩序,阻碍了民航业的高速发展。空中警察队伍的组建在增强客舱安全保障力度的同时,也引发了一系