论文部分内容阅读
云存储具有高可用性、高通用性、高扩展性及大容量存储等特点,广泛应用于互联网空间、高清影视节目分发、教育资源共享、数字图书馆、卫星遥感数据存储等诸多个领域,是当今国内外的研究热点。对存储服务系统的研究不仅紧跟IT技术发展的趋势,而且具有较高的应用价值。传统的网络存储体系架构主要关注文件和数据块,这种存储体系已成为提升存储系统性能和降低存储管理成本的瓶颈。然而,对象存储有望能够改变当前这种局面,并成为下一代存储接口的标准。分布式对象存储系统由元数据管理节点、对象存储节点以及客户端三部分组成,元数据管理节点在整个系统中的位置非常重要,它的设计和元数据的管理方式是面向对象存储的重要组成部分。因此本文在广泛学习国内外关于分布式对象存储系统相关理论的最新研究成果的基础之上,对分布式对象存储系统及其元数据的管理进行了深入研究。首先,本文研究了分布式对象存储系统中元数据管理。高效的元数据管理对系统的性能至关重要,考虑到对象存储的可扩展性、可靠性、可用性和一致性等,本文采用集中式元数据管理方案,简化了整个存储结构。同时针对集中式元数据管理方案的缺点,本文提出了一种基于热度感知的异构存储的元数据管理模型,该模型定义了对象元数据的热度,根据元数据的热度将其迁移到不同的存储介质内存(DRAM)或者固态硬盘(SSD)。其次,在研究异构元数据存储的基础之上,根据对象元数据被访问时的特点和动态静态特征,本文提出多维存储结构来管理SSD上的元数据。使用多维存储结构不仅简化了对象数据的访问,而且提高了 SSD空间利用率,这样保证了元数据在SSD上的高效管理。同时本文设计并实现了一种基于flash的高效索引机制用于查找SSD上的元数据。最后,在原有的系统基础之上,利用本文所设计的新型的元数据管理模块,将其整合到对象存储系统中,并重构优化系统,保证了对象存储系统高性能、高可用性以及良好的可扩展性。总之,本文主要研究了分布式对象存储系统元数据管理的问题,并针对其中的不足之处,提出了高效可行的解决方案,并实现了高扩展性的对象存储系统,主要面向海量对象存储,为大规模用户提供存储服务。同时,大量的实验验证了本文方案的高效性、可维护性、健壮性和可扩展性等。