论文部分内容阅读
摘 要 网络环境中海量存储系统解决方案的探讨需要解决存储虚拟化问题。在满足大容量存储需求的同时，需要解决许多技术上和设备上的难题。目前业内仍未有最优的统一解决方案，且已有解决方案也存在着诸多问题，本文旨在从三方面探讨网络环境中海量存储系统的解决方案。
关键词 网络环境 海量存储系统 解决方案
中图分类号：TP333 文献标识码：A
网络环境中海量存储系统解决方案的探讨简言之就是探讨存储虚拟化的解决方案。在满足大容量存储需求的同时，需要解决许多技术上和设备上的难题。相应的设备厂商都在推行自己的存储虚拟化技术理念，但是业内仍未有最优的统一解决方案。网络环境中海量存储系统最优解决方案的统一标准仍然任重而道远。
1网络环境中海量存储系统面临的挑战
现如今，网络环境中海量存储系统的容量已经非常之大，达到了PB量的级别（1PB=103TB=106GB=109MB）。那么如此大规模的海量数据存储，对于对应承载的硬件系统要求也超出了传统的理念，于是传统的设备已经无法满足数据存储的需求。
如何能够解决这一问题，即网络上大规模的数据访问，存储，分配等问题，数据传输的带宽问题的解决是关键所在。
2网络环境中海量存储系统面临的机遇
现如今，网络信息技术的发展速度十分迅猛，对于IT行业来说，面临着许多的机遇。具体表现在以下方面：
2.1網络用户的增加
由于IPTV业务和手机移动业务的大幅度增加，相应的网络用户也有一定程度的激增。据相关咨询公司的报告显示，在未来十年，网络视频类业务市场将增长3倍以上，中国的宽带用户将会达到3亿左右，对应着IPTV用户数也会达到数千万之巨。由于视频业务有着数据量大，资源丰富的特点，因此需要配套的大规模网络存储系统。
2.2 3G移动通讯的流行
3G业务现在国内已经顺利得以运营，4G业务也逐步开始进行宣传推广，这将大大派生许多相应的多媒体网络的应用：视频通话，视频短信，对应的游戏和邮件应用。
这些业务的发展，需要相应的存储系统予以支持。如内容的下载与缓存。据相关机构的数据量的统计，平均每个3G及以上级别数据网络业务的用户需要至少1GB的储存空间，空间分配多用于视频点播业务，此项达到500MB以上，视频电话、视频短信需要缓存空间100MB，多媒体邮件服务需要300MB，省下的存储空间需要分配给其他娱乐服务。根据数以亿计的用户的需求，国内的存储容量空间需求将会非常庞大，甚至接近700PB。
2.3 石油勘探的需要
由于国内制造行业、重工业对于石油等能源产品的需求与日俱增。不仅依靠大量进口，同时我们也要自力更生勘探出国内大中型油田以供使用需求。就目前勘探手段而言，国内已经逐步采用数字化勘探方式。据有关数据显示，国内从2006-2010年五年间，每平方公里的勘探储存数据已经从几GB发展到了20G-500GB的规模，以此类推，仅仅1000平方公里的勘探数据也将达几十TB之多。
2.4 视频监控的发展
同样，由于交通需要，安全需要等考虑，视频监控的应用也越来越广泛。不管是公路、住宅、写字楼还是学生宿舍等都需要进行视频监控。同时，为了加强治安管理，不仅街道安装了摄像头而且公共交通工具，比如地铁、公交也安装了大量的摄像头。视频监控的发展已经涉及到衣食住行各个方面，因此，涉及到的领域和地方十分广泛，相应产生的数据量也十分庞大。
3解决大规模硬盘储存读取的方法
目前国内的存储设备生厂商对于如何解决大规模硬盘存储读取提出了多种方法，其中以下面三种解决方案最为常见：
3.1不断扩充存储控制器的处理能力
由于在控制器体积的局限条件之下，它的缓存容量通常为4G-8GB，包含的CPU大约为2～4颗。因此，当面临海量数据的存储压力时，最直观的解决办法就是增加缓存数量和CPU的数量。但是这一简单的解决方法由于只是等差增长，增长速度远远跟不上数据的增长速度，要达到PB级而言就会比较困难。
3.2设计专用存储阵列扩充设备连接多台存储阵列
在存储阵列与SAN 存储网络中间，可以提供专用的阵列处理单元，对SAN 存储网络而言，并不能够真正了解后台存储阵列的真实分布和分配情形，只能够看到阵列处理单元虚拟化的存储空间。比如，可以在运行后台安放数十台设备阵列，从而可以实现PB级的数据存储与读取，并且通过相应的处理单元能够给前端的上百台服务器提供同时访问的可能。
3.3智能存储网络交换架构
现如今，智能存储网络交换构架的变化，可以使得网络交换系统更加功能强大，使得便利性大大提升。而这种交换架构的变化是指，利用智能存储交换机或者路由器，从而将主机和交换组能够自我组成真实的数据传输网络，实现服务器主机顺畅地访问后端磁盘阵列。并且，这些虚拟化的设备，以及相应的配套访问路径，可以实现海量储存数据的实现。
并且这种只能存储网络交换系统可以通过不断增加阵列的空间结构从而增加实际存储数据量，通过增加路由器或者交换机等中介设备增加链路的交换能力，通过增加主机交换机来增加服务器访问读取能力。这个解决方案可以很好地处理好PB级海量数据的存储读取与服务器数据访问的问题，并且数据的吞吐量十分可观。
参考文献
[1] 武家麟.PB级海量存储系统解决方案[J].聚焦存储，2012（5）.
[2] 车建华.虚拟计算系统性能与可用性评测方法研究[D].浙江大学，2010.
[3] 苗帅.海量数据存储与全文检索[D].江苏科技大学，2011.
关键词 网络环境 海量存储系统 解决方案
中图分类号：TP333 文献标识码：A
网络环境中海量存储系统解决方案的探讨简言之就是探讨存储虚拟化的解决方案。在满足大容量存储需求的同时，需要解决许多技术上和设备上的难题。相应的设备厂商都在推行自己的存储虚拟化技术理念，但是业内仍未有最优的统一解决方案。网络环境中海量存储系统最优解决方案的统一标准仍然任重而道远。
1网络环境中海量存储系统面临的挑战
现如今，网络环境中海量存储系统的容量已经非常之大，达到了PB量的级别（1PB=103TB=106GB=109MB）。那么如此大规模的海量数据存储，对于对应承载的硬件系统要求也超出了传统的理念，于是传统的设备已经无法满足数据存储的需求。
如何能够解决这一问题，即网络上大规模的数据访问，存储，分配等问题，数据传输的带宽问题的解决是关键所在。
2网络环境中海量存储系统面临的机遇
现如今，网络信息技术的发展速度十分迅猛，对于IT行业来说，面临着许多的机遇。具体表现在以下方面：
2.1網络用户的增加
由于IPTV业务和手机移动业务的大幅度增加，相应的网络用户也有一定程度的激增。据相关咨询公司的报告显示，在未来十年，网络视频类业务市场将增长3倍以上，中国的宽带用户将会达到3亿左右，对应着IPTV用户数也会达到数千万之巨。由于视频业务有着数据量大，资源丰富的特点，因此需要配套的大规模网络存储系统。
2.2 3G移动通讯的流行
3G业务现在国内已经顺利得以运营，4G业务也逐步开始进行宣传推广，这将大大派生许多相应的多媒体网络的应用：视频通话，视频短信，对应的游戏和邮件应用。
这些业务的发展，需要相应的存储系统予以支持。如内容的下载与缓存。据相关机构的数据量的统计，平均每个3G及以上级别数据网络业务的用户需要至少1GB的储存空间，空间分配多用于视频点播业务，此项达到500MB以上，视频电话、视频短信需要缓存空间100MB，多媒体邮件服务需要300MB，省下的存储空间需要分配给其他娱乐服务。根据数以亿计的用户的需求，国内的存储容量空间需求将会非常庞大，甚至接近700PB。
2.3 石油勘探的需要
由于国内制造行业、重工业对于石油等能源产品的需求与日俱增。不仅依靠大量进口，同时我们也要自力更生勘探出国内大中型油田以供使用需求。就目前勘探手段而言，国内已经逐步采用数字化勘探方式。据有关数据显示，国内从2006-2010年五年间，每平方公里的勘探储存数据已经从几GB发展到了20G-500GB的规模，以此类推，仅仅1000平方公里的勘探数据也将达几十TB之多。
2.4 视频监控的发展
同样，由于交通需要，安全需要等考虑，视频监控的应用也越来越广泛。不管是公路、住宅、写字楼还是学生宿舍等都需要进行视频监控。同时，为了加强治安管理，不仅街道安装了摄像头而且公共交通工具，比如地铁、公交也安装了大量的摄像头。视频监控的发展已经涉及到衣食住行各个方面，因此，涉及到的领域和地方十分广泛，相应产生的数据量也十分庞大。
3解决大规模硬盘储存读取的方法
目前国内的存储设备生厂商对于如何解决大规模硬盘存储读取提出了多种方法，其中以下面三种解决方案最为常见：
3.1不断扩充存储控制器的处理能力
由于在控制器体积的局限条件之下，它的缓存容量通常为4G-8GB，包含的CPU大约为2～4颗。因此，当面临海量数据的存储压力时，最直观的解决办法就是增加缓存数量和CPU的数量。但是这一简单的解决方法由于只是等差增长，增长速度远远跟不上数据的增长速度，要达到PB级而言就会比较困难。
3.2设计专用存储阵列扩充设备连接多台存储阵列
在存储阵列与SAN 存储网络中间，可以提供专用的阵列处理单元，对SAN 存储网络而言，并不能够真正了解后台存储阵列的真实分布和分配情形，只能够看到阵列处理单元虚拟化的存储空间。比如，可以在运行后台安放数十台设备阵列，从而可以实现PB级的数据存储与读取，并且通过相应的处理单元能够给前端的上百台服务器提供同时访问的可能。
3.3智能存储网络交换架构
现如今，智能存储网络交换构架的变化，可以使得网络交换系统更加功能强大，使得便利性大大提升。而这种交换架构的变化是指，利用智能存储交换机或者路由器，从而将主机和交换组能够自我组成真实的数据传输网络，实现服务器主机顺畅地访问后端磁盘阵列。并且，这些虚拟化的设备，以及相应的配套访问路径，可以实现海量储存数据的实现。
并且这种只能存储网络交换系统可以通过不断增加阵列的空间结构从而增加实际存储数据量，通过增加路由器或者交换机等中介设备增加链路的交换能力，通过增加主机交换机来增加服务器访问读取能力。这个解决方案可以很好地处理好PB级海量数据的存储读取与服务器数据访问的问题，并且数据的吞吐量十分可观。
参考文献
[1] 武家麟.PB级海量存储系统解决方案[J].聚焦存储，2012（5）.
[2] 车建华.虚拟计算系统性能与可用性评测方法研究[D].浙江大学，2010.
[3] 苗帅.海量数据存储与全文检索[D].江苏科技大学，2011.