论文部分内容阅读
随着云计算和大数据时代的到来,电子数据的存储量呈几何级增长。同时,近年来自然灾害和人为事故的频发导致数据中心存储设备损坏,给许多数据中心造成不小的损失,企业、高校、机关等不同性质的单位对数据中心存储的数据的安全性提出更高的要求。现有的数据中心普遍存在两个问题:1.许多数据中心都有将数据做异地备份的迫切需求,而建立完整的异地灾备系统需要投入大量的建设资金和管理成本,这对高校等资金有限的单位而言是不太可能实现的;2.许多数据中心本身的存储空间利用率很低,其中有些甚至还在使用非常落后的体系架构,不同的子系统间无法实现资源共享,存在一个个“信息孤岛”,数据中心内部不同存储节点的空间使用情况不平衡、存在大量碎片。基于以上两点,本文提出一种多个数据中心之间通过合作协商的机制,贡献出自己空闲的存储空间,相互作数据异地备份的设想。期望无需进行额外基础设施建设、以最低的资金投入和最少的能源消耗来实现数据中心的异地备份。本文通过研究分布式存储技术,设计和实现了一个依托Ceph作为底层分布式存储环境的多数据中心间异地存储管理平台的原型系统。具体而言,本文的主要工作包括:(1)设计和实现了一个多数据中心间异地存储管理平台原型系统。该系统将Ceph的运行环境进行抽象,分别从系统管理员和普通用户两个角度实现对存储资源进行监控和管理。一方面,本系统能够帮助管理员实现对分布在不同节点上的存储资源进行抽象、统一管理和实时监控,便于管理员及时定位和排除系统故障。另一方面,本系统能帮助用户实现向集群中共享自己的存储空间、向集群申请使用存储空间、管理被分配存储资源的生命周期。(2)通过研究Ceph系统的底层对象归置机制和实现原理,提出了一种基于CRUSH算法的用户数据异地存储模型,通过为不同用户定制不同的规则,实现将用户数据存储在异地的功能。设计并实现了相关算法,通过理论和实验验证该算法不但能实现异地存储功能,而且能在添加新的存储节点时保证集群整体负载均衡。(3)根据系统需求对RSMP-MD原型系统做了功能性测试,测试结果表明本系统基本满足系统的功能性需求,并且具有良好的可扩展性。