基于分布式文件系统GlusterFS的横向扩展云存储的研究与实现

被引量 : 0次 | 上传用户:xiaodixi000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据,云计算和物联网等的迅猛发展,越来越多的数据需要被存储和分析,传统的存储服务器在性能和扩展性方面越来越不能满足数据存储现在和未来的需求。云存储作为未来存储发展的主要方向,对云存储架构的研究显得迫切而重要。横向扩展存储(Scale-out)相对于纵向扩展存储(Scale-up)由于在扩展性,稳定性,安全性等方面具有突出的优势,很适合作为云存储的底层架构,越来越受到学术界和工业界的重视。与此同时,众多的分布式文件系统也得到了长足的发展,GlusterF S作为其中设计思路独特又在性能和扩展性方面优势突出的一种开源分布式文件系统,具有非常光明的前景。虽然横向扩展存储具有明显的优势,但存储服务器的高功耗却是存储节点扩展的一大制约因素,存储密度不高也是亟待解决的瓶颈。而GlusterFS在安全性方面的不足已经阻碍其进一步的发展,其针对定制服务器的优化也明显不足。本文在深入分析传统存储架构瓶颈和传统横向扩展存储的不足的基础上,研究并提出了一种新型的横向扩展的云存储方案。硬件方面,基于CPU芯片是服务器主板的主要功耗来源,降低CPU芯片的功耗可以有效降低其他功能单元的耗电量,本文详细分析了CPU性能和功耗之间的关系,针对云存储的数据类型和计算特征,概念性设计了“云存储节点专用CPU芯片”,并通过减少外围不必要芯片,设计了专门用于云存储的微服务器。为了提高存储密度,研究并实现了在2U机箱中单节点集成18块3.5寸硬盘,并通过对固态硬盘优化技术和万兆以太网技术来提高I/O性能和带宽。在此基础上设计了低功耗高密度的基于微服务器的云存储一体机。系统软件方面,研究了现有的分布式文件系统GlusterFS,肯定了其在性能,扩展等方面的优势。从缓存,合并小顺序I/O,条带化等方面研究了GlusterFS的优化策略,并提出了针对性的改进措施。在安全机制方面,分析了其不足之处,如没有提供任何的身份验证机制和访问控制机制等,它采用的加解密算法—rot13,也是非常容易被破解。针对上述缺陷,本文主要从密钥和身份验证方面对GlusterFS文件系统在安全性方面进行了研究和改进。本文基于上述对云存储服务器和GlusterFS 文件系统的研究对其进行了实现,对此云存储系统的进行了部署,并对节点的分配、卷的管理进行了实际操作来验证系统的可靠性,并设计了web管理平台实现对整个集群的监控和管理。最后通过对此系统的测试,验证了本文提出的云存储方案的可行性和性能优势。
其他文献
目的:1)在食管癌Eca109和KYSE150细胞中改变表观遗传学修饰并检测该修饰对食管癌细胞形态、细胞周期和细胞凋亡变化的影响,为今后临床食管癌使用TSA和5-Aza-dC的药物治疗奠定
药品专利强制许可制度基于平衡药品专利权和公共健康利益而生,是世界各国在TRIPS协定框架下保障仿制药供应、降低药品价格和应对公共健康危机的重要制度供给。在经历三次修订
锅炉爆管泄露主要集中在锅炉水冷壁,过热器,再热器以及省煤器这些部件上。以下就爆管原因以及解决对策进行具体讨论,为电厂锅炉检修提供检查方向与检修重点,保障锅炉安全稳定
<正>在新时代的伟大征程中,"伟大斗争"作为一种战略考量与抉择,在风起云涌中登上了中国的政治舞台。时代变迁,和平与发展旋律高奏,交响齐鸣。风云际会,考量与搏击风雷滚动,五
1概况这次参加展会的电子测量仪器门类国内、外厂商约有7家。在这次展会中,一些知名的电子测量仪器老厂商,诸如:美国安捷伦公司、泰克公司、福禄克公司、吉时利公司、日本岩崎
甜菊糖作为一种低热量高甜度的糖类,在食品,药品方面拥有越来越多的发展空间,很大程度上满足了在物质生活丰富的当下人们的需求。本文的主要目的是制备出对甜菊糖有识别选择
比特币是一种极富争议的电子货币。它是计算机技术、密码学原理与自由主义经济思想的奇妙结合,因其总量有限、发行与交易去中心化、交易记录公开透明等信用货币不具备的特点
研究鲁、苏、浙、粤四省的科技创新能力,目的是找出山东省科技创新能力与苏、浙、粤三省的差距,提出提高山东省科技创新能力的策略。采用科技创新能力指数比较方法,通过选择1
管道输送作为石油天然气等流体介质最为经济、合理的输送方式,所以对在役管道实行定期检测及时发现问题并对其维护有着重要意义。通常一次全面的检测成本是相当高的,如何根据
近年来,西方国家开展了多项数字阅读推广活动,有一些已经形成了一定的影响力。这些有影响力的数字阅读推广活动多以青少年儿童为主要对象,图书馆为主要力量。项目以激发读者