云计算环境下基于HDFS的对象存储系统的研究

来源 :东北大学 | 被引量 : 1次 | 上传用户:geniuscaobo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云存储具有高可用性、高通用性、高扩展性及大容量存储等特点,广泛应用于互联网空间、高清影视节目分发、教育资源共享、数字图书馆、卫星遥感数据存储等诸多个领域,是当今国内外的研究热点。对存储服务系统的研究不仅紧跟IT技术发展的趋势,而且具有较高的应用价值。传统的网络存储体系架构主要关注文件和数据块,这种存储体系已成为提升存储系统性能和降低存储管理成本的瓶颈。然而,对象存储有望能够改变当前这种局面,并成为下一代存储接口的标准。分布式对象存储系统由元数据管理节点、对象存储节点以及客户端三部分组成,元数据管理节点在整个系统中的位置非常重要,它的设计和元数据的管理方式是面向对象存储的重要组成部分。因此本文在广泛学习国内外关于分布式对象存储系统相关理论的最新研究成果的基础之上,对分布式对象存储系统及其元数据的管理进行了深入研究。首先,本文研究了分布式对象存储系统中元数据管理。高效的元数据管理对系统的性能至关重要,考虑到对象存储的可扩展性、可靠性、可用性和一致性等,本文采用集中式元数据管理方案,简化了整个存储结构。同时针对集中式元数据管理方案的缺点,本文提出了一种基于热度感知的异构存储的元数据管理模型,该模型定义了对象元数据的热度,根据元数据的热度将其迁移到不同的存储介质内存(DRAM)或者固态硬盘(SSD)。其次,在研究异构元数据存储的基础之上,根据对象元数据被访问时的特点和动态静态特征,本文提出多维存储结构来管理SSD上的元数据。使用多维存储结构不仅简化了对象数据的访问,而且提高了 SSD空间利用率,这样保证了元数据在SSD上的高效管理。同时本文设计并实现了一种基于flash的高效索引机制用于查找SSD上的元数据。最后,在原有的系统基础之上,利用本文所设计的新型的元数据管理模块,将其整合到对象存储系统中,并重构优化系统,保证了对象存储系统高性能、高可用性以及良好的可扩展性。总之,本文主要研究了分布式对象存储系统元数据管理的问题,并针对其中的不足之处,提出了高效可行的解决方案,并实现了高扩展性的对象存储系统,主要面向海量对象存储,为大规模用户提供存储服务。同时,大量的实验验证了本文方案的高效性、可维护性、健壮性和可扩展性等。
其他文献
本文主要分析了WTLS的安全漏洞及其存在的原因,并在此基础上研究了两种解决WTLS安全问题的方法——椭圆曲线和RIPEMD—160算法。 WAP编程模型类似WWW编程模型,采用基于WWW通
随着计算机技术,特别是数据库技术的发展,在人才市场上积累了大量的人才数据。如何发现隐含在这些数据中的规则和知识,并辅助决策,成了亟待解决的问题。数据挖掘技术的出现和发展为此提供了有力支持。 数据挖掘就是从大量的、不完备的数据中,提取出事先未知的、但具有价值的信息和知识的过程。本文在对数据挖掘技术的理论研究基础上,描述了该技术在人才认知系统中的应用。主要阐明了人才认知系统在数据预处理的前提下,
该文结合部分求值和数据例化,运用一种基于控制流图的例化方法.通过基于控制流图的数据例化和面向程序基本块的部分求值,在例化阶段进行程序基本块例化的同时,完成控制转移的
人脸识别是计算机视觉领域的研究热点之一。近年来,针对人的性别、年龄、种族等属性的识别研究逐渐增多。其中,性别识别在人机交互、视频监控、基于内容的检索、统计信息收集