多数据中心间异地存储管理平台的设计与实现

来源 :东南大学 | 被引量 : 4次 | 上传用户:lonlychanging
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算和大数据时代的到来,电子数据的存储量呈几何级增长。同时,近年来自然灾害和人为事故的频发导致数据中心存储设备损坏,给许多数据中心造成不小的损失,企业、高校、机关等不同性质的单位对数据中心存储的数据的安全性提出更高的要求。现有的数据中心普遍存在两个问题:1.许多数据中心都有将数据做异地备份的迫切需求,而建立完整的异地灾备系统需要投入大量的建设资金和管理成本,这对高校等资金有限的单位而言是不太可能实现的;2.许多数据中心本身的存储空间利用率很低,其中有些甚至还在使用非常落后的体系架构,不同的子系统间无法实现资源共享,存在一个个“信息孤岛”,数据中心内部不同存储节点的空间使用情况不平衡、存在大量碎片。基于以上两点,本文提出一种多个数据中心之间通过合作协商的机制,贡献出自己空闲的存储空间,相互作数据异地备份的设想。期望无需进行额外基础设施建设、以最低的资金投入和最少的能源消耗来实现数据中心的异地备份。本文通过研究分布式存储技术,设计和实现了一个依托Ceph作为底层分布式存储环境的多数据中心间异地存储管理平台的原型系统。具体而言,本文的主要工作包括:(1)设计和实现了一个多数据中心间异地存储管理平台原型系统。该系统将Ceph的运行环境进行抽象,分别从系统管理员和普通用户两个角度实现对存储资源进行监控和管理。一方面,本系统能够帮助管理员实现对分布在不同节点上的存储资源进行抽象、统一管理和实时监控,便于管理员及时定位和排除系统故障。另一方面,本系统能帮助用户实现向集群中共享自己的存储空间、向集群申请使用存储空间、管理被分配存储资源的生命周期。(2)通过研究Ceph系统的底层对象归置机制和实现原理,提出了一种基于CRUSH算法的用户数据异地存储模型,通过为不同用户定制不同的规则,实现将用户数据存储在异地的功能。设计并实现了相关算法,通过理论和实验验证该算法不但能实现异地存储功能,而且能在添加新的存储节点时保证集群整体负载均衡。(3)根据系统需求对RSMP-MD原型系统做了功能性测试,测试结果表明本系统基本满足系统的功能性需求,并且具有良好的可扩展性。
其他文献
核方法是机器学习领域中解决非线性学习问题的一种有效方法,大都要求核函数正定,然而,在实际问题中这样的要求常常很难满足;相反,在某些情况下,使用不定核往往能取得比正定核
随着基于内容音频检索技术的发展和应用,如何提取和分析音频的语义内容和结构化信息,是音频信息深度分析、处理以及音频应用的关键,而音频分割和聚类技术是音频结构化的基础,是解
近年来无线传感器网络在各个领域的应用中逐渐体现了它在信息感知、获取方面的强大能力,受到了全世界各个国家的重视,各国纷纷成立了专门的研究小组。这个由大量低功耗、低成本
环境光遮蔽(Ambient occlusion,AO)是一种计算机图形学领域中模拟低频全局光照的方法,被广泛地应用在实时渲染、数据可视化和计算机辅助设计相关的应用和产品中。与此同时,图像领
本论文主要研究了指纹图像预处理中所应用到的算法,所涉内容包括以下几部分:质量评估,图像分割,图像增强,二值化以及细化算法等。本文的研究内容围绕着“方向图”与“自适应”
X射线计算机断层成像(X-ray Computerized Tomography, CT)具有空间分辨率高,扫描速度快,病人成本低,能够提供三维成像的优点。近年来, CT扫描技术已经在临床医学诊断中得到
随着经济发展的加快,中国的金融市场和金融体制不断完善。在国民人均可支配收入不断增长的趋势下,证券作为一种主要的大众投资方式,在近几年的时间内,越来越受到人们的投资青睐。
描述逻辑作为一种知识表示的有效机制,已经成为构建形式化本体知识库的重要逻辑基础。基于描述逻辑的本体知识库被广泛地应用在智能体间的通信、异构信息源的集成、语义Web等
人体肤色检测已应用于如手势识别、数据库人物检索、网络敏感信息过滤等诸多领域。因而,设计一套有效并且性能稳定的肤色检测方法成为计算机视觉领域的一大研究热点。为了满
随着P2P技术的日渐成熟,越来越多的网络应用都使用了P2P技术,特别是在文件共享领域与流媒体播放领域,P2P技术的使用发挥到了极致。然而正是由于这种技术的出现,P2P流量占据了很大