面向列数据库的分布式存储系统的设计与实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:wlg1991
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的来临,网络数据的海量增长给传统数据处理系统带来了严峻的考验。一方面,从互联网如网购、社交网站产生的大量数据蕴藏着丰富的社会信息,经过一定的分析挖掘能带来可观的社会、经济效益甚至科研价值。另一方面,数据量的海量增长急速提升了数据的存储与计算量。数据的响应速度、可靠性和稳定性的要求被提升到了新的高度。传统的文件存储系统以及传统关系型数据库系统的局限性日益显现。分布式存储系统与列数据库技术应运而生。基于目前的分布式存储系统不能满足列数据库的存储要求的现状,本文设计了一个面向列数据库的分布式存储系统。针对列数据库的数据密集、面向高性能查询的特性,本文通过设立多个监控节点和操作节点,将集中式管理节点的部分功能进行了迁移;并通过提出对等负载均衡策略,取代集中式负载管理功能,总体优化了目前主流的分布式文件系统模型。此外,基于该分布式文件系统的节点模型,本文提供了对等共享缓存架构的设计,进一步为分布式存储系统提供缓存架构的支持。针对列数据库文件适合进行压缩处理的特性,本文为分布式存储系统设计了配置化的压缩框架。基于压缩框架,可以动态添加和配置针对不同类型数据的压缩算法,为特定类型数据提供透明的压缩支持。同时本文实现了该存储系统以及对等共享缓存架构,并进行了存储功能与性能的实验测试。实验结果表明,本文设计的分布式存储系统性能较HDFS系统有较大提升,在100Mbps网络环境下,1MB数据写入速度为HDFS的16.81倍;平均读速度比HDFS提升了25.34%,写速度提升了18.25%;列数据库文件批量上传速度比HDFS提高了19.8%。此外,缓存架构与压缩框架具有强的可用性与优秀的性能表现,测试结果符合设计预期。总体而言,本文设计及实现的分布式存储系统有着良好的性能表现,相比主流的分布式存储系统,有着一定的创新性与实验性。并且对列数据库有着适应性和针对性,为列数据库的分布式计算提供了良好的存储支撑。
其他文献
本文以浙江腐败“名托”赵某被判刑作为引子 ,研究介绍贿赂罪与行贿、受贿共犯界限问题。通过论证 ,笔者认为介绍贿赂行为是一种行贿、受贿的帮助行为。我们没有必要 ,也不可
目的:世界范围内,宫颈癌的发病率和死亡率居女性恶性肿瘤的第二位,而且近年来发病趋于年轻化。在其发生前常经历一个较长时间的癌前病变过程。因此,宫颈上皮内瘤样病变(cervi
佛教发展至明代,在特殊时代背景以及自身发展规律的综合作用下,佛教开始走下神坛,呈现一种世俗化倾向,这种世俗化一方面促进了佛教本身神秘性、神圣性的削弱和瓦解,另一方面
通过对搜集到的文献资料进行分析,论文提出当前信息技术与语文课程教学整合更需要人们进行理论方面的研究,提出了整合的理论基础、信息技术在语文课程教学中的作用、整合的教学
<正> 刑事政策有一个长期的过去,但仅有一个短期的历史。因为,从早期纯粹的打击犯罪的人类自发性反应,到作为合理而有效地反犯罪斗争的手段并成为政治国家和市民社会整体系统
在检察实务中,以计算机及其网络为依托的电子数据对于证明事实、判定案件的价值日益突出。电子证据不仅在查办典型的计算机犯罪时必不可少,而且在处理以数字化信息设备作为犯
目的:探讨血清mi R-335作为一种新的生物标志物在肝细胞肝癌(hepatocellular carcinoma,HCC)诊断中的作用。方法:采用实时定量聚合酶链式反应(real-time quantitative polymerase
近年来,社会上习惯用“边缘化”评价主流之外的事物,其中就包括文学。“中国文学边缘化”早在上世纪九十年代就被学界关注,引起重视,但是在使用中往往口号大过内涵。将“中国
<正>中小企业是国民经济的重要组成部分,与大型企业比较,由于中小企业规模相对较小、盈利能力相对较弱,因此在发展过程中受到了诸多阻碍,尤其是融资难的问题。研究及解决这一
袁说友字起岩,号东塘居士,福建建安人。袁说友作有《东塘集》,清四库馆臣据《永乐大典》辑为二十卷。《全宋诗》收录其诗660余首,其诗歌体裁多样、表现思想主题丰富,有着独特