论文部分内容阅读
数据是信息化时代的宝贵资源,并受到了越来越广泛的重视。随着IT技术的不断发展,云计算与云存储服务的产生为广大的用户提供了一种按需使用的弹性服务模式,可以有效地解决IT存储资源需求不断增加的问题。相比于传统的数据存储技术,云计算及云存储技术具有服务成本低,可扩展性强,存储管理方便,数据可用性高等优势。但是,存储在云端的文件也存在数据丢失的风险,一旦云服务提供商的存储服务出现无法预期的问题(人为或自然灾害),用户存储在云端的数据将不可访问、甚至丢失。亚马逊、微软等云计算和云存储平台都发生过服务中断和数据丢失的故障,不仅给用户带来了极大损失,云服务提供商也面临着商业信任危机与经济损失。云计算与云存储环境下的数据可靠性问题已经成为云服务提供商关注的热点问题,云服务提供商必须解决好数据可靠性问题才能获取更好的商业信誉和经济利益。存储在云端的数据并不是完全可靠的,因此,如何构建一个可以保证数据可用性的、真正可靠的云存储系统,并针对系统进行优化是论文的研究重点。针对这个问题,论文设计了一个基于多个异构云存储平台协同工作的富云存储模式,富云存储模式可以帮助多个异构云存储平台实现异构存储资源的相互利用,并对各异构云平台的数据进行相互备份,从而保证用户数据不丢失,实现云存储服务的数据可靠性保证。论文构建的富云存储模式兼具了可靠性及廉价性的优势,具有如下几点优势:●可靠性:在富云存储系统中,上传到云存储平台的用户文件会被容灾备份到其他不同的异构云存储平台。通过这种数据互备方式,云服务提供商既可以保证云端用户数据副本的数量,又可以保证数据副本之间的地理距离,增强副本问的地理隔离性,提高了数据抗毁性。●动态扩展:一个云服务提供商可以动态的选取其他云服务提供商的异构存储资源对自身平台的用户数据进行存储备份,便于应用任务的动态扩展。●数据共享:数据拥有者通过向其他数据访问者提供访问权限可以方便实现云端数据共享。具体而言,论文的研究内容主要包括两大部分:即基于跨异构云平台的可靠云存储系统的体系架构研究以及对系统的资源优化问题进行研究。其中,基于跨异构云平台的可靠云存储系统的体系架构研究重点关注云存储系统的可靠性问题,通过设计跨异构云平台的可靠云存储系统架构和系统的数据冗余机制,建立了基于富云存储模式的互备可靠云存储系统。在此基础上,论文进一步针对富云存储系统的资源优化问题进行了研究,并分别从经济优先和网络性能优先两方面分析了富云存储模式下特有的资源优化问题。论文的主要贡献包括:(1)对云存储系统的数据可靠性保证技术及资源优化调度技术进行综述和分析。论文详细分析了云存储技术的研究进展,重点分析了云存储系统实现的关键技术,包括虚拟存储技术、重复数据删除技术、分布式存储技术等。同时涵盖一些传统分布式存储中用于保证数据可靠性的技术与研究成果,从容灾系统的概念入手,逐步分析目前存储系统的数据冗余策略和灾难检测技术。并针对云计算环境下的资源管理与调度策略展开分析,根据资源调度目的不同,分别从系统性能优先和经济性优先两个方面对现有的资源优化机制进行研究分析,为文章后续章节的展开奠定理论与研究基础。(2)提出了一种跨越异构云平台的互备可靠云存储系统体系架构——富云存储模式。论文针对目前云存储系统在数据可靠性保证方面出现的问题,设计了一种通过租用其他异构云平台资源代替自建数据中心来进行任务分发存储及数据互备的富云存储模式。利用富云存储模式进行数据存储可以帮助多个异构云平台进行协同工作,实现各异构云平台之间的资源互用和相互容灾,保证云存储服务的可靠性。在此基础上,论文针对数据容灾和数据归档两类数据存储应用,分别构建了富云容灾系统和富云归档存储系统,并系统介绍了两个系统的系统架构和数据组织。(3)提出了一种成本相关的富云容灾策略。论文从云服务提供商的角度出发,针对富云容灾系统的成本优化问题构建了相应的数学模型,并对云服务提供商的容灾费用进行了量化分析。针对富云容灾模型下的云存储互备数据容灾策略选择这一离散约束优化问题,以成本优化为目标,提出了一种基于富云模型的数据容灾方案:一种成本相关的云服务提供商数据高可靠性保证算法(Cost Aware High Reliability Provision Algorithm, CAHRPA)。该算法通过分析用户任务、云平台的存储费用及传输带宽等条件利用离散化差分进化算法的自动寻优能力找到一种成本优化的数据容灾方案,实现了多个异构云平台资源的优化配置,可以在保证传输带宽和数据可靠性的同时降低云服务提供商的数据容灾费用。该方法可以为云服务提供商的数据容灾保护提供一种新的思路。(4)提出了一种网络相关的富云归档存储机制。论文基于实际的异构云存储资源构建了富云归档存储系统,并针对富云归档存储系统的性能优化和可靠性保证问题,创新性地设计了网络相关的富云归档存储机制,该机制利用纠错码技术对重复数据删除后的数据进行可靠性保证。并针对富云归档存储系统中各云存储平台的异构性及网络状态差别较大的问题,设计了一种基于K-means聚类算法的云平台冗余组选择机制以提高系统的网络传输能力。通过对存储系统的元数据组织形式,数据的分发归档实现机制,网络相关的冗余组选择机制等方面的详细介绍,全面展示了富云归档存储机制的工作流程。大量的实验分析验证了网络相关的富云归档存储机制非常适用于富云存储环境,可以在保证数据可靠性的同时大大减少系统的网络负担,减少系统的网络延迟。综上所述,论文以云存储系统的可靠性保证机制为主要研究目的,重点解决了跨异构云平台的互备可靠云存储系统的体系架构设计和系统优化两个主要问题。论文提出的富云存储模式,可以有效的解决异构云存储环境下的数据可靠性问题。针对不同类型的数据存储应用任务,论文分别设计了富云容灾系统和富云归档存储系统,并采用代理技术和重复数据删除技术,从系统结构的角度对富云存储系统进行优化。在此基础上,论文进一步针对系统的存储空间利用率,网络性能优化和存储经济性等问题展开研究,分别设计了成本相关的富云容灾策略和网络相关的富云归档存储机制,从资源优化调度的角度对富云存储环境中的数据分发调度进行了优化。大量实验证明,论文提出的优化调度方案及实现机制可以很好的解决富云存储环境中的两个优化调度问题,是非常可行的研究方案。