论文部分内容阅读
【摘要】 随着“互联网+”战略的推进，信息消费正在加速渗透进各行各业与千家万户，给社会发展与信息化建设带来了巨大发展机遇和发展空间。在“互联网+”实现过程中，我们将目光锁定在大数据、物联网、云计算等热点应用领域，这些领域与“互联网+”的内容实质有很强相关性。也正是因为这样，由于信息化所主导的新兴业务领域才会有更好的发展空间，对“互联网+”战略的部署和实现也是一种很好的促进。本文首先对分布式存储和分布式存储的特点进行了简要阐述;然后以POD方案和混合POD方案为例，对分布式存储在大数据中心建设中的具体部署情况进行了详细分析和描述;最后从资源利用和管理能力等六个方面出发，对云数据中心建设优势进行了总结。
【关键词】 分布式存储 大数据 建设策略
一、分布式存储及其特点
1.1分布式存储
分布式存储的扩展性更强，其架构能够实现跨设备数据分发，同时能够做到多个服务器间共享存储负载。分布式存储一般分为块存储、文件存储和对象存储。
1.1.1分布式块存储
在物理机与虚拟机应用中，块存储可作为一种长期存储设备来使用，对软件导出和提供本地磁盘使用很有帮助。与此同时，像备份和快照等多样化高级服务也会被提供。
1.1.2分布式文件存储
在“客户端—服务器”模型的支持下，分布式文件系统设计更具实用性和现实意义。其功能在信息资源传递方式上表现出很强灵活性，比如基于物理设备进行存储的信息资源可在网络环境支持下完成虚拟化存储，这样便在客户端层面极大节省了存储空间，也降低了投入资金。
1.1.3分布式对象存储
相比分布式块存储和分布式文件存储，分布式对象存储要更复杂些，但所实现的功能更多，优点也更加明顯，比如网络附加存储优势、存储区域网络优势等，均是分布式块存储和分布式文件存储无法比拟的，这些与分布式对象存储的结构丰富性有直接关系。除了对象和对象存储设备外，系统客户端和元数据服务器在功能和优势实现过程中也发挥了重要作用，比如高安全性和可靠性。
1.2分布式存储产品的主要特点
1.2.1高弹性和扩展性
分布式存储产品的高弹性和高扩展性主要体现在应用层面的负载均衡特性上，且每个硬件资源均具有这样的特性。加之在多卷共享支持下，共享资源池功能也得到了最大限度发挥，使产品的高弹性特点得到了更好体现。而这一切均是在数据分片技术的支持来完成的，使数据能够被均匀地分配到资源池中。
1.2.2高性能
分布式存储通过动态智能分区、静态选盘算法以及 EC 算法，采用小 IO 聚合、大 IO 直通等技术，在实现了业务均衡分布和保证了存储高可靠的同时，也保证了存储的高性能。在使用 HDD 作为主存时，采用分布式 SSD Cache 加速方案，将各个 存储节点上的 SSD 组建成为一个共享的分布式 Cache 资源池，供所有的业务共同所 用，实现 HDD 主存的性能加速。
1.2.3高可靠性
分布式存储采用分布式集群管理方式，系统全冗余部署，无单点故障。支持 多副本和 EC（Erasure Coding）两种数据冗余保护机制，支持设置灵活的数据可靠性策略，支持DIF、后台数据一致性校验等数据完整性校验功能。
二、分布式存储在大数据中心建设中的部署方案
基于分布式存储的大数据中心建设中的部署方案，在硬件方面需要X86和架顶交换机或大型数据中心交换机做支持，在不同网络机构、网络规模，以及不同的应用需求下，对设备的应用和组网方法也是有所区别的。
2.1存储独立POD方案
POD方案是指物理基础设施资源池，该方案一般用在物理机房无法满足和承载数据中心建设要求的情况下，方案应用宗旨是将存储与业务和管理服务器分开。当前我们对“物理机房无法满足和承载数据中心建设要求”的理解是，数据中心机房的服务器要达到千台以上规模。
POD的划分与建设主要依据业务内容和属性。假如平均每一个机柜放置10台服务器，那么1500台服务器就需要100多个机柜，按照业务内容来进行划分，可能我们需要划分出20-30个POD。图1是具体POD组网结构图，假设数据中心的每台服务器以2×10GE上联一对TOR（接入交换机）上，每台TOR以4×40GE上联汇聚层交换机，并接入数据中心网络。比如，在大数据计算节点每对接入交换机下挂载48台服务器，那么从接入到汇聚就会采用1：3的收敛比。需要指出的是，无论是计算节点还是存储节点，又或是管理节点，它们本身就是一个POD，有时获取是多个POD，其主要任务是负责协调其它各个POD之间的业务互访。
2.2采用混合POD组网方案
存储独立POD组网方案主要用来解决大型机房空间和资源利用率问题，而对于中小型机房来说，由于对空间和资源的要求并不是很高，所以采用存储独立POD方案难免会浪费掉多余的空间和资源。在这样的情况下，我们可以采用混合POD组网方案。图2为混合POD组网结构图。
混合POD组网方案主要分两种，一是按业务分区部署方案，二是机架混合部署方案。
2.2.1按业务分区部署方案
在空间部署方面，汇聚层交换机一般会被安置在机房物理中心位置，这样便于其它设备连接。至于对交换机类型的选择，主要还看具体业务需求。一般情况下，计算接入交换机、管理接入交换机、存储接入交换机、IPMI管理交换机都会被置于机柜上层，一般在34U-38U这段距离之间，每个机柜所盛放的服务器数量需要控制在10-14台，并需要在同一个机柜部署相同业务的服务器。
2.2.2机架混合部署方案 前面所讲，混合POD组网方案一般用于中小型机房建设，但每个中小型机房的具体情况还是不同的，混合POD组网方案下的按业务分区部署方案多用于承载服务器数量较多的机房，而对于那些服务器数量少的机房来说，需要采用另一种方案，即机架混合部署方案。该方案与前一种方案相比，最大的不同就是计算和存储共用一个交换机来协调业务之间互访，而不是通过汇聚交换机来实现协调业务之间互访。在此方案下，一个机柜既要承载计算服务器，也要容纳存储服务器，这样做可以节省更多的空间资源，减少走线架线缆布放。
在同一个机柜中，计算接入交换机、管理接入交换机、存储接入交换机和IPMI管理交换机的安置位置与按业务分区部署方案下的安置位置相同，但最顶层交换机位置不可超过40U。
三、与传统IDC相比，云数据中心建设的优势
3.1充分利用资源
云数据中心建设优势主要体现在提高了资源使用效率，缩短了信息反映时间，提升了设备运行维护质量，简化了信息管理流程，增强了IDC扩展灵活性，以及降低了资源扩充难度。这些内容全部是云計算管理通过进行动态监控、调度和部署虚拟化资源池中的各种资源来实现的。
3.2减少用户初期投资与运营成本
相比重构购买符合应用需求的硬件设备和软件产品，根据用户实际业务需求来调整租赁资源，对帮助用户减少初期投资成本，以及运营成本是十分有效的。特别需要强调的是，用户可根据自身使用情况进行付费，这一极具人性化的投资特征对于中小型企业及其自身发展来说无疑是十分有利的。
3.3直接满足并实现了众多IDC业务需求
云数据中心建设具有很强开放性，应用平台可将所有实际业务需求的相关内容整个在一起提供了用户。同时，极具创新性的服务业实现了IDC业务服务的纵深发展。
3.4促进IDC管理水平提高
规范化和规模化是云数据中心建设的主要特征，这一特征，或与之相关特征，对实现IDC自动化管理，以及具有统一性的流程化管理有着重要帮助，直接促进了IDC管理水平的提高。
3.5绿色成长
对云数据中心建设来说，绿色成长即指节能减排的实现，以及对有限信息资源的高效利用。云数据中心的建设和应用，将不断推动信息化环保事业的发展。
3.6业务多样化的实现
业务多样化只是相对而言，与传统IDC相比，云计算支持下的IDC正在实现这一特征，这与移动终端业务的支持有直接关系。
四、结束语
应用分布式存储技术于大数据中心建设中，需要我们能够结合实际情、环境和需求还选择合适的部署方案。建设空间和资源是当前我们比较关注的两方们问题，对于如何去解决这些问题，还需要我们能灵活运用好相应的技术和方案。希望本文的建议能给大家带来帮助。
参 考 文 献
[1]辛宇.网络安全的分布式异构存储网络安全技术分析[J].电子世界，2021（01）：170-171.
[2]张恒均.分布式存储——数据中心建设解决策略研究[J].数码世界，2020（10）：54-55.
[3]王晶晶.分布式存储——大数据中心建设解决方案研究[J].电脑知识与技术，2017，13（11）：14-16.
【关键词】 分布式存储 大数据 建设策略
一、分布式存储及其特点
1.1分布式存储
分布式存储的扩展性更强，其架构能够实现跨设备数据分发，同时能够做到多个服务器间共享存储负载。分布式存储一般分为块存储、文件存储和对象存储。
1.1.1分布式块存储
在物理机与虚拟机应用中，块存储可作为一种长期存储设备来使用，对软件导出和提供本地磁盘使用很有帮助。与此同时，像备份和快照等多样化高级服务也会被提供。
1.1.2分布式文件存储
在“客户端—服务器”模型的支持下，分布式文件系统设计更具实用性和现实意义。其功能在信息资源传递方式上表现出很强灵活性，比如基于物理设备进行存储的信息资源可在网络环境支持下完成虚拟化存储，这样便在客户端层面极大节省了存储空间，也降低了投入资金。
1.1.3分布式对象存储
相比分布式块存储和分布式文件存储，分布式对象存储要更复杂些，但所实现的功能更多，优点也更加明顯，比如网络附加存储优势、存储区域网络优势等，均是分布式块存储和分布式文件存储无法比拟的，这些与分布式对象存储的结构丰富性有直接关系。除了对象和对象存储设备外，系统客户端和元数据服务器在功能和优势实现过程中也发挥了重要作用，比如高安全性和可靠性。
1.2分布式存储产品的主要特点
1.2.1高弹性和扩展性
分布式存储产品的高弹性和高扩展性主要体现在应用层面的负载均衡特性上，且每个硬件资源均具有这样的特性。加之在多卷共享支持下，共享资源池功能也得到了最大限度发挥，使产品的高弹性特点得到了更好体现。而这一切均是在数据分片技术的支持来完成的，使数据能够被均匀地分配到资源池中。
1.2.2高性能
分布式存储通过动态智能分区、静态选盘算法以及 EC 算法，采用小 IO 聚合、大 IO 直通等技术，在实现了业务均衡分布和保证了存储高可靠的同时，也保证了存储的高性能。在使用 HDD 作为主存时，采用分布式 SSD Cache 加速方案，将各个 存储节点上的 SSD 组建成为一个共享的分布式 Cache 资源池，供所有的业务共同所 用，实现 HDD 主存的性能加速。
1.2.3高可靠性
分布式存储采用分布式集群管理方式，系统全冗余部署，无单点故障。支持 多副本和 EC（Erasure Coding）两种数据冗余保护机制，支持设置灵活的数据可靠性策略，支持DIF、后台数据一致性校验等数据完整性校验功能。
二、分布式存储在大数据中心建设中的部署方案
基于分布式存储的大数据中心建设中的部署方案，在硬件方面需要X86和架顶交换机或大型数据中心交换机做支持，在不同网络机构、网络规模，以及不同的应用需求下，对设备的应用和组网方法也是有所区别的。
2.1存储独立POD方案
POD方案是指物理基础设施资源池，该方案一般用在物理机房无法满足和承载数据中心建设要求的情况下，方案应用宗旨是将存储与业务和管理服务器分开。当前我们对“物理机房无法满足和承载数据中心建设要求”的理解是，数据中心机房的服务器要达到千台以上规模。
POD的划分与建设主要依据业务内容和属性。假如平均每一个机柜放置10台服务器，那么1500台服务器就需要100多个机柜，按照业务内容来进行划分，可能我们需要划分出20-30个POD。图1是具体POD组网结构图，假设数据中心的每台服务器以2×10GE上联一对TOR（接入交换机）上，每台TOR以4×40GE上联汇聚层交换机，并接入数据中心网络。比如，在大数据计算节点每对接入交换机下挂载48台服务器，那么从接入到汇聚就会采用1：3的收敛比。需要指出的是，无论是计算节点还是存储节点，又或是管理节点，它们本身就是一个POD，有时获取是多个POD，其主要任务是负责协调其它各个POD之间的业务互访。
2.2采用混合POD组网方案
存储独立POD组网方案主要用来解决大型机房空间和资源利用率问题，而对于中小型机房来说，由于对空间和资源的要求并不是很高，所以采用存储独立POD方案难免会浪费掉多余的空间和资源。在这样的情况下，我们可以采用混合POD组网方案。图2为混合POD组网结构图。
混合POD组网方案主要分两种，一是按业务分区部署方案，二是机架混合部署方案。
2.2.1按业务分区部署方案
在空间部署方面，汇聚层交换机一般会被安置在机房物理中心位置，这样便于其它设备连接。至于对交换机类型的选择，主要还看具体业务需求。一般情况下，计算接入交换机、管理接入交换机、存储接入交换机、IPMI管理交换机都会被置于机柜上层，一般在34U-38U这段距离之间，每个机柜所盛放的服务器数量需要控制在10-14台，并需要在同一个机柜部署相同业务的服务器。
2.2.2机架混合部署方案 前面所讲，混合POD组网方案一般用于中小型机房建设，但每个中小型机房的具体情况还是不同的，混合POD组网方案下的按业务分区部署方案多用于承载服务器数量较多的机房，而对于那些服务器数量少的机房来说，需要采用另一种方案，即机架混合部署方案。该方案与前一种方案相比，最大的不同就是计算和存储共用一个交换机来协调业务之间互访，而不是通过汇聚交换机来实现协调业务之间互访。在此方案下，一个机柜既要承载计算服务器，也要容纳存储服务器，这样做可以节省更多的空间资源，减少走线架线缆布放。
在同一个机柜中，计算接入交换机、管理接入交换机、存储接入交换机和IPMI管理交换机的安置位置与按业务分区部署方案下的安置位置相同，但最顶层交换机位置不可超过40U。
三、与传统IDC相比，云数据中心建设的优势
3.1充分利用资源
云数据中心建设优势主要体现在提高了资源使用效率，缩短了信息反映时间，提升了设备运行维护质量，简化了信息管理流程，增强了IDC扩展灵活性，以及降低了资源扩充难度。这些内容全部是云計算管理通过进行动态监控、调度和部署虚拟化资源池中的各种资源来实现的。
3.2减少用户初期投资与运营成本
相比重构购买符合应用需求的硬件设备和软件产品，根据用户实际业务需求来调整租赁资源，对帮助用户减少初期投资成本，以及运营成本是十分有效的。特别需要强调的是，用户可根据自身使用情况进行付费，这一极具人性化的投资特征对于中小型企业及其自身发展来说无疑是十分有利的。
3.3直接满足并实现了众多IDC业务需求
云数据中心建设具有很强开放性，应用平台可将所有实际业务需求的相关内容整个在一起提供了用户。同时，极具创新性的服务业实现了IDC业务服务的纵深发展。
3.4促进IDC管理水平提高
规范化和规模化是云数据中心建设的主要特征，这一特征，或与之相关特征，对实现IDC自动化管理，以及具有统一性的流程化管理有着重要帮助，直接促进了IDC管理水平的提高。
3.5绿色成长
对云数据中心建设来说，绿色成长即指节能减排的实现，以及对有限信息资源的高效利用。云数据中心的建设和应用，将不断推动信息化环保事业的发展。
3.6业务多样化的实现
业务多样化只是相对而言，与传统IDC相比，云计算支持下的IDC正在实现这一特征，这与移动终端业务的支持有直接关系。
四、结束语
应用分布式存储技术于大数据中心建设中，需要我们能够结合实际情、环境和需求还选择合适的部署方案。建设空间和资源是当前我们比较关注的两方们问题，对于如何去解决这些问题，还需要我们能灵活运用好相应的技术和方案。希望本文的建议能给大家带来帮助。
参 考 文 献
[1]辛宇.网络安全的分布式异构存储网络安全技术分析[J].电子世界，2021（01）：170-171.
[2]张恒均.分布式存储——数据中心建设解决策略研究[J].数码世界，2020（10）：54-55.
[3]王晶晶.分布式存储——大数据中心建设解决方案研究[J].电脑知识与技术，2017，13（11）：14-16.