论文部分内容阅读
摘要：当前，中国正处于深化布局战略性新兴产业关键时期，云计算作为最具有活力与革新性的战略性新兴产业，与之相关联的应用市场也呈现了快速发展的势头，整体产业未来的发展前景不可限量。本文从云计算环境下分布式存储技术的需求出发，分析其结构，并简述云计算环境下几项关键的分布式存储技术。
关键词：云计算；分布式存储；关键技术
互联网正面临着一场新的变革，移动互联与三网合一使得网络涵盖范围更广泛，云计算的产生使得一个平台多种应用成为可能。同时随着网络带宽等网络技术的发展，通过网络访问非本地的计算服务的条件越来越成熟，更加促进了云计算技术的发展。本文研究云计算环境下的分布式存储具有很高的应用价值。
一、云计算与分布式存储
云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。广义云计算指服务的交付和使用模式，指通过网络以按需要、易扩展的方式获得服务。这种服务可以是IT软件和互联网相关服务，也可是其他服务。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源。云计算技术在很多领域都有极其重要的作用，如计算机科学领域、商业计算领域，已逐渐成为社会各界关注的焦点。
随着信息时代的到来，计算机技术得到了广泛的应用，已经逐渐的运用到社会的各领域之中。故此其数据量也得到了快速的增长，而大量的数据如果仅仅是单独的存储在计算机上，就难以满足信息化的发展要求。在这种环境之下，云计算应运而生，使得数据存储的要求得到了解决。云计算环境下的分布式存储主要是控制和管理数据中心，分布式存储是云计算环境下的关键设施。
二、云计算环境下分布式存储技术的需求
分布式存储技术作为云计算的基础，主要研究数据在数据中心中如何存储、组织和管理。由于数据量和数据规模非常大，其在可扩展性、容错性、成本控制等方面都面临着非常严峻的技术需求。第一，可扩展性。云计算数据中心的节点规模通常是十万级以上的，其上存储的数据往往达到PB级甚至EB级，而且数据中心的规模和存储的数据规模会随着应用的拓展快速增长，因此，这就对云环境下数据存储技术的扩展性提出了高要求，不仅要求数据中心网络具备良好的可扩展性，数据组织结构也要具备可扩展性，以适应应用需求的扩展。第二，成本可控。传统的分布存储数据规模较小，对数据存储能耗的考虑不够全面。而在云计算环境下，存储的数据规模巨大，能耗开销也非常高；在7*24 小时不间断运行模式下，能耗便成为数据中心存储开销的重要组成部分，唯有降低能耗才达到降低成本的目标。第三，容错性。在云计算环境下，庞大的节点规模和数据规模直接提高了失效出现的频率，失效会给云服务提供商以及用户带来严重的损失。然而提高物理拓扑结构的容错性及提高数据的容错性，能有效提高云计算环境下分布式存储的容错性。
三、云计算环境下分布式存储技术的结构
1、以服务器为核心的结构
服务器作为云计算的核心，这种结构是利用网线将其他的服务器中安装的多个网卡进行相互连接。对于这种结构来说，在使用的过程中服务器需要对数据进行及时处理和存储，还需要将数据包的转发功能完全负责。像这种以服务器为核心的计算结构，在线路的链接和结构组成方面是比较简单的，这里不存在交换技术，所以可以很好地是服务器和底层的网络进行交互，方便开发者高效实用路由算法。但是任何事物都存在两面性，这种结构虽然简单但是也有一定的弊端性，例如使用这种结构的时候，运行过程中服务器中的资源占用率比较大，由于服务器的负载压力过大，很容易会导致整个服务器的计算效率降低，这些问题都会增加成本支出以及损坏计算器性能。
2、以交换机为核心的结构
在传统的数据存储技术中都是使用交换机进行的，然而在云计算技术还没有大规模使用之前，许多用户都是以交换机为核心的数据存储技术进行数据交换的，即用户将数据中心和网络体系通过交换机为纽带，两者连接在一起。这种以交换机为桥梁的数据存储技术基本采的是属性结构，包括聚合层、边缘层及核心层三个部分。这种树形结构的方法的主要特点是其操作方法简单，数据连接比较容易，数据扩展性强的特点。但是这种以交换机为核心的技术也由于一些缺点，例如，其存储容量有限、存储技术相对比较落后，然而这种技术在数据存储过程中的操作却很灵活，存储效率高，所以可以通过一些优化技术提高其使用空间。
3、以服务器与交换机混合结构
随着网络技术的飞速发展，单一的结构已经无法满足需求，不论是以服务器为核心的结构亦或是以交换机为核心的结构都存在或多或少的弊端，为了扬长避短，可以将二者混合使用，互补不足。在网络结构、路由的费用、可扩展性以及构建的成本等方而均能体现出混合式结构的优点。在网络结构方而，服务器、交换机混合使用可以同时使用交换机与服务器在进行数据提供时的转发功能，它让网络结构更加的自由，靈活性也更高；从扩展性方而来说，该种结构让每个服务器所安装的网卡受到限制；而成本构建这块，混合结构集合了交换机与服务器结构的优点，在同等性能甚至是提升性能的同时降低了成本。
四、云计算环境下分布式储存关键技术
1、数据中心网络构建技术
建立将交换机作为网络构架中心结构的方式。利用该种方式进行互联网络系统数据中心构建，其所坚持的思想是建立在系统思维上的。利用对提供网络服务功能互联网络计算机交换器之间的有效连接，将可促使整个系统中的数据与信息均可实现相互传递与沟通，从而带来整个系统服务器实现对数据进行有效储存、收发及传递的功能。建立将服务器作为数据中心主要结构的构建模式。这种结构所坚持的设计理念与第一种之间存在显著差异，其主要是将服务器作为网络数据中心的重要节点，进而通过在现有各类数据中心服务连接点中安装网卡，利用其所具有的数据分析与传递功能实现对整个数据中心各区域之间的网线连接。
2、數据容错技术
数据容错技术作为分布式存储技术当中的关键技术之一，对于系统可用性与可靠性程度以及数据访问效率等的影响不言而喻。数据的容错技术一般都通过增加数据冗余来实现，因为冗余的数据能够让失效以及丢失的数据被找到，而与此同时，也加大了存储资源的消耗，因此，为了在保障容错的同时，最大程度地提高存储资源的利用率，又能够降低成本，就变得刻不容缓，现阶段，最常用的数据容错技术主要有两种，一种是基于复制的容错技术，另一种是基于纠删码的容错技术。
3、节能技术
节能、环保与可持续发展已经成为当代各行业中的热门议题。对云计算时代而言同样如此，作为时代中扮演重要角色的分布储存关键技术而言，其庞大数据库的运行将会带来整体的巨大增加。相较于传统信息储存技术而言，在不断提升云计算的功能性特点基础上，有效降低其所消耗的能源，将成为今后研究的重要方向。对于当前该环境下储存技术的节能技术而言，通常包括硬件与软件两个部分。硬件部分主要是通过节能体系与结构得以实现节能。对于软件部分而言，其通常是使用节点动态运作的方式，实现对能耗的有效节约。
参考文献：
[1]刘月，云计算环境下分布存储关键技术研究[J]，江苏科技信息，2015（9）
[2]宋国、平邱阳，云计算环境下的分布存储关键技术[J]，吉林广播电视大学学报，2014（9）
[3]谭鹏许，云计算环境下安全分布式存储架构与容错技术研究[D]，解放军信息工程大学，2013
关键词：云计算；分布式存储；关键技术
互联网正面临着一场新的变革，移动互联与三网合一使得网络涵盖范围更广泛，云计算的产生使得一个平台多种应用成为可能。同时随着网络带宽等网络技术的发展，通过网络访问非本地的计算服务的条件越来越成熟，更加促进了云计算技术的发展。本文研究云计算环境下的分布式存储具有很高的应用价值。
一、云计算与分布式存储
云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。广义云计算指服务的交付和使用模式，指通过网络以按需要、易扩展的方式获得服务。这种服务可以是IT软件和互联网相关服务，也可是其他服务。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源。云计算技术在很多领域都有极其重要的作用，如计算机科学领域、商业计算领域，已逐渐成为社会各界关注的焦点。
随着信息时代的到来，计算机技术得到了广泛的应用，已经逐渐的运用到社会的各领域之中。故此其数据量也得到了快速的增长，而大量的数据如果仅仅是单独的存储在计算机上，就难以满足信息化的发展要求。在这种环境之下，云计算应运而生，使得数据存储的要求得到了解决。云计算环境下的分布式存储主要是控制和管理数据中心，分布式存储是云计算环境下的关键设施。
二、云计算环境下分布式存储技术的需求
分布式存储技术作为云计算的基础，主要研究数据在数据中心中如何存储、组织和管理。由于数据量和数据规模非常大，其在可扩展性、容错性、成本控制等方面都面临着非常严峻的技术需求。第一，可扩展性。云计算数据中心的节点规模通常是十万级以上的，其上存储的数据往往达到PB级甚至EB级，而且数据中心的规模和存储的数据规模会随着应用的拓展快速增长，因此，这就对云环境下数据存储技术的扩展性提出了高要求，不仅要求数据中心网络具备良好的可扩展性，数据组织结构也要具备可扩展性，以适应应用需求的扩展。第二，成本可控。传统的分布存储数据规模较小，对数据存储能耗的考虑不够全面。而在云计算环境下，存储的数据规模巨大，能耗开销也非常高；在7*24 小时不间断运行模式下，能耗便成为数据中心存储开销的重要组成部分，唯有降低能耗才达到降低成本的目标。第三，容错性。在云计算环境下，庞大的节点规模和数据规模直接提高了失效出现的频率，失效会给云服务提供商以及用户带来严重的损失。然而提高物理拓扑结构的容错性及提高数据的容错性，能有效提高云计算环境下分布式存储的容错性。
三、云计算环境下分布式存储技术的结构
1、以服务器为核心的结构
服务器作为云计算的核心，这种结构是利用网线将其他的服务器中安装的多个网卡进行相互连接。对于这种结构来说，在使用的过程中服务器需要对数据进行及时处理和存储，还需要将数据包的转发功能完全负责。像这种以服务器为核心的计算结构，在线路的链接和结构组成方面是比较简单的，这里不存在交换技术，所以可以很好地是服务器和底层的网络进行交互，方便开发者高效实用路由算法。但是任何事物都存在两面性，这种结构虽然简单但是也有一定的弊端性，例如使用这种结构的时候，运行过程中服务器中的资源占用率比较大，由于服务器的负载压力过大，很容易会导致整个服务器的计算效率降低，这些问题都会增加成本支出以及损坏计算器性能。
2、以交换机为核心的结构
在传统的数据存储技术中都是使用交换机进行的，然而在云计算技术还没有大规模使用之前，许多用户都是以交换机为核心的数据存储技术进行数据交换的，即用户将数据中心和网络体系通过交换机为纽带，两者连接在一起。这种以交换机为桥梁的数据存储技术基本采的是属性结构，包括聚合层、边缘层及核心层三个部分。这种树形结构的方法的主要特点是其操作方法简单，数据连接比较容易，数据扩展性强的特点。但是这种以交换机为核心的技术也由于一些缺点，例如，其存储容量有限、存储技术相对比较落后，然而这种技术在数据存储过程中的操作却很灵活，存储效率高，所以可以通过一些优化技术提高其使用空间。
3、以服务器与交换机混合结构
随着网络技术的飞速发展，单一的结构已经无法满足需求，不论是以服务器为核心的结构亦或是以交换机为核心的结构都存在或多或少的弊端，为了扬长避短，可以将二者混合使用，互补不足。在网络结构、路由的费用、可扩展性以及构建的成本等方而均能体现出混合式结构的优点。在网络结构方而，服务器、交换机混合使用可以同时使用交换机与服务器在进行数据提供时的转发功能，它让网络结构更加的自由，靈活性也更高；从扩展性方而来说，该种结构让每个服务器所安装的网卡受到限制；而成本构建这块，混合结构集合了交换机与服务器结构的优点，在同等性能甚至是提升性能的同时降低了成本。
四、云计算环境下分布式储存关键技术
1、数据中心网络构建技术
建立将交换机作为网络构架中心结构的方式。利用该种方式进行互联网络系统数据中心构建，其所坚持的思想是建立在系统思维上的。利用对提供网络服务功能互联网络计算机交换器之间的有效连接，将可促使整个系统中的数据与信息均可实现相互传递与沟通，从而带来整个系统服务器实现对数据进行有效储存、收发及传递的功能。建立将服务器作为数据中心主要结构的构建模式。这种结构所坚持的设计理念与第一种之间存在显著差异，其主要是将服务器作为网络数据中心的重要节点，进而通过在现有各类数据中心服务连接点中安装网卡，利用其所具有的数据分析与传递功能实现对整个数据中心各区域之间的网线连接。
2、數据容错技术
数据容错技术作为分布式存储技术当中的关键技术之一，对于系统可用性与可靠性程度以及数据访问效率等的影响不言而喻。数据的容错技术一般都通过增加数据冗余来实现，因为冗余的数据能够让失效以及丢失的数据被找到，而与此同时，也加大了存储资源的消耗，因此，为了在保障容错的同时，最大程度地提高存储资源的利用率，又能够降低成本，就变得刻不容缓，现阶段，最常用的数据容错技术主要有两种，一种是基于复制的容错技术，另一种是基于纠删码的容错技术。
3、节能技术
节能、环保与可持续发展已经成为当代各行业中的热门议题。对云计算时代而言同样如此，作为时代中扮演重要角色的分布储存关键技术而言，其庞大数据库的运行将会带来整体的巨大增加。相较于传统信息储存技术而言，在不断提升云计算的功能性特点基础上，有效降低其所消耗的能源，将成为今后研究的重要方向。对于当前该环境下储存技术的节能技术而言，通常包括硬件与软件两个部分。硬件部分主要是通过节能体系与结构得以实现节能。对于软件部分而言，其通常是使用节点动态运作的方式，实现对能耗的有效节约。
参考文献：
[1]刘月，云计算环境下分布存储关键技术研究[J]，江苏科技信息，2015（9）
[2]宋国、平邱阳，云计算环境下的分布存储关键技术[J]，吉林广播电视大学学报，2014（9）
[3]谭鹏许，云计算环境下安全分布式存储架构与容错技术研究[D]，解放军信息工程大学，2013