论文部分内容阅读
随着大数据,云计算和物联网等的迅猛发展,越来越多的数据需要被存储和分析,传统的存储服务器在性能和扩展性方面越来越不能满足数据存储现在和未来的需求。云存储作为未来存储发展的主要方向,对云存储架构的研究显得迫切而重要。横向扩展存储(Scale-out)相对于纵向扩展存储(Scale-up)由于在扩展性,稳定性,安全性等方面具有突出的优势,很适合作为云存储的底层架构,越来越受到学术界和工业界的重视。与此同时,众多的分布式文件系统也得到了长足的发展,GlusterF S作为其中设计思路独特又在性能和扩展性方面优势突出的一种开源分布式文件系统,具有非常光明的前景。虽然横向扩展存储具有明显的优势,但存储服务器的高功耗却是存储节点扩展的一大制约因素,存储密度不高也是亟待解决的瓶颈。而GlusterFS在安全性方面的不足已经阻碍其进一步的发展,其针对定制服务器的优化也明显不足。本文在深入分析传统存储架构瓶颈和传统横向扩展存储的不足的基础上,研究并提出了一种新型的横向扩展的云存储方案。硬件方面,基于CPU芯片是服务器主板的主要功耗来源,降低CPU芯片的功耗可以有效降低其他功能单元的耗电量,本文详细分析了CPU性能和功耗之间的关系,针对云存储的数据类型和计算特征,概念性设计了“云存储节点专用CPU芯片”,并通过减少外围不必要芯片,设计了专门用于云存储的微服务器。为了提高存储密度,研究并实现了在2U机箱中单节点集成18块3.5寸硬盘,并通过对固态硬盘优化技术和万兆以太网技术来提高I/O性能和带宽。在此基础上设计了低功耗高密度的基于微服务器的云存储一体机。系统软件方面,研究了现有的分布式文件系统GlusterFS,肯定了其在性能,扩展等方面的优势。从缓存,合并小顺序I/O,条带化等方面研究了GlusterFS的优化策略,并提出了针对性的改进措施。在安全机制方面,分析了其不足之处,如没有提供任何的身份验证机制和访问控制机制等,它采用的加解密算法—rot13,也是非常容易被破解。针对上述缺陷,本文主要从密钥和身份验证方面对GlusterFS文件系统在安全性方面进行了研究和改进。本文基于上述对云存储服务器和GlusterFS 文件系统的研究对其进行了实现,对此云存储系统的进行了部署,并对节点的分配、卷的管理进行了实际操作来验证系统的可靠性,并设计了web管理平台实现对整个集群的监控和管理。最后通过对此系统的测试,验证了本文提出的云存储方案的可行性和性能优势。