论文部分内容阅读
2006年,中国存储市场仍旧保持着活力,无论是出货量还是销售额均保持着两位数的增长。企业并购牵动人心、中小企业的需求逐渐爆发、新技术不断涌现……我们有理由相信,2007年的中国存储市场仍将是丰收之年。
InfiniBand:现在和未来
司马聪
2006年11月13日,在巨型计算机博览会(SC06)上公布的世界前500名巨型机排名中,用于服务器互联的公开标准协议InfiniBand的占有率首次超过了私有协议Myrinet。到去年6月为止的世界前500名巨型计算机排名中,占有率一直持续上涨的千兆以太网也首次下跌18%。至此,经过三年多的较量,在高性能计算领域,服务器互联网络的首选协议已经明确为InfiniBand。
InfiniBand与RDMA
InfiniBand发展的初衷是把服务器中的总线网络化,所以InfiniBand除了具有很强的网络性能以外,还继承了总线的高带宽和低时延。大家熟知的在总线技术中采用的DMA(Direct Memory Access)技术,在InfiniBand中以RDMA(Remote Direct Memory Access)的形式得到了继承。这也使InfiniBand在与CPU、内存及存储设备的交流方面优于万兆以太网以及Fibre Channel。可以想象,在用InfiniBand构筑的服务器和存储网络中,任意一个服务器上的CPU可以轻松地通过RDMA去高速搬动其他服务器中的内存或存储器中的数据块,而这是Fibre Channel和万兆以太网所不可能做到的。
与其他协议的关系
作为总线的网络化,InfiniBand有责任将其他进入服务器的协议在InfiniBand的层面上整合,并送入服务器。基于这个目的,Volatire已经开发了IP到InfiniBand的路由器,以及Fibre Channel到InfiniBand的路由器。这就使得目前几乎所有的网络协议都可以通过InfiniBand网络整合到服务器中去,包括Fibre Channel、IP/GbE、NAS、iSCSI等。2007年下半年,Voltaire将推出万兆以太网到InfiniBand的路由器。这里有个插曲,万兆以太网在开发过程中考虑过多种线缆形式,发现只有InfiniBand的线缆和光纤可以满足其要求。最后,万兆以太网开发阵营直接采用了InfiniBand线缆作为其物理连接层。
在存储中的地位
今天的InfiniBand可简单整合Fibre Channel SAN、NAS以及iSCSI进入服务器。除了作为网络化总线把其他存储协议整合进服务器之外,InfiniBand可以发挥更大的作用。存储是内存的延伸,具有RDMA功能的InfiniBand应该成为存储的主流协议。InfiniBand的性能是Fibre Channel的五倍,而InfiniBand交换机的延迟是Fibre Channel交换机的十分之一。另外,在构筑连接所有服务器和存储器的高速网络时使用InfiniBand Fabric,可省去Fiber Channel Fabric,从而带来巨大的成本节省。
今天,在使用InfiniBand作为存储协议方面已经有了很大进展。作为iSCSI RDMA的存储协议,iSER已被IETF标准化。
不同于Fibre Channel,InfiniBand在存储领域中可以直接支持SAN和NAS。存储系统已经不能满足于传统的Fibre Channel SAN所提供的服务器与裸存储的网络连接架构。Fibre Channel SAN加千兆以太网加NFS的架构已经严重限制了系统的性能。在这种情况下,应运而生的是在InfiniBand Fabric连接起来的服务器和iSER InfiniBand存储的基础架构之上的并行文件系统(如HP的SFS、IBM的GPFS等)。未来的服务器、存储器网络的典型结构将是由InfiniBand将服务器和InfiniBand存储器直接连接起来,所有的IP数据网络将通过万兆以太网到InfiniBand的路由器,直接进入InfiniBand Fabric。在存储厂商方面,Sun、SGI、LSI LOGIC、飞康软件等公司都已推出自己的InfiniBand存储产品。在中国,新禾科技公司也推出了Infiniband存储系统。InfiniBand有比Fibre Channel高五倍的性能,在价格上则已经与Fibre Channel处于同一个数量级。
在HPC领域外
2006年,InfiniBand在HPC以外的领域得到了长足发展,主要包括在大型网络游戏中心的应用、在电视媒体编辑及动画制作方面的应用。在证券业方面,人们也已经在着手开发以InfiniBand为核心的高速、低迟延交易系统。在银行业,我们也看到了一些以InfiniBand全面取代Fibre Channel的努力。
InfiniBand的未来
Voltaire将于2007年秋推出万兆以太网到InfiniBand的路由器,这将使InfiniBand对数据网络和存储网络的整合得到加速。
Voltaire已经开发出全套的iSER Initiator、Target code。很多存储合作伙伴在利用Voltaire的iSER code开发他们自己的InfiniBand存储系统。预计在明后年,大家会看到更多的InfiniBand存储系统投放市场。InfiniBand已经进入刀片服务器(IBM、HP等),未来两年还会看到这方面更多的努力和成果。
CDP:重新定义数据保护模式
颜军
CDP技术作为一种数据保护的高级形式,已经成为2006年存储行业的一个热点。不仅是CDP技术的倡导者美国飞康软件公司,其他诸多存储界巨头也向CDP技术伸出了橄榄枝,比如IBM、赛门铁克、Commvault等,通过自行研制、收购、OEM等方式大举进入CDP领域。2007年,CDP技术仍将是数据保护技术中的焦点。
传统备份技术的飞跃
持续数据保护(CDP)是一种在不影响主要数据运行的前提下,可实现持续捕捉或跟踪目标数据所发生的任何改变,并且能够恢复到此前任意时间点的方法。CDP系统能够提供块级、文件级和应用级的备份及恢复目标的无限任意可变的恢复点。
CDP技术具有几个关键的高级数据保护特征:连续备份、持续捕捉数据变化;瞬间和即时的恢复,大大优化恢复进程;多点的快照技术,历史数据瞬间可用;系统连续运行。
从持续数据保护的实现和目标来看,CDP在传统数据备份的基础上产生了质的飞跃,这不同于类似VTL这样的备份优化技术所带来的量变。以前,人们往往注重备份策略可行性方案的制定,一旦出现了故障恢复的特定情况,人们却发现传统的备份和恢复与业务连续的目标相距甚远。由于备份是按照策略进行的,恢复时能够保障的数据恢复点也只能是这一策略中所出现的备份点,比如天。另外,故障恢复时的业务恢复点指标更是无法预计,动辄5小时甚至24小时的系统恢复屡见不鲜。其实,人们需要能够实现业务连续和数据连续的真正的数据保护技术。CDP技术从实现效果来看,正是朝向这一目标迈进的新体验。CDP采用了精细化的数据连续捕捉技术,数据获得的间隔可以是连续策略和基于时间间隔的快照。而且,在数据恢复的技术上,CDP采用了即时恢复技术,从而解决了大数据量的传统恢复超时长的难题,达到了瞬间可用,使得业务的恢复和数据的恢复都不再是一件令人头痛的事情。还有一点,为了获得业务的连续运行,人们曾经花费很大力气构建HA的高可用系统,但是CDP的系统远程启动技术使你能在构建数据保护系统时就获得系统故障的恢复能力,系统恢复运行时间仅5分钟。这些关键点以飞康公司的CDP尤为突出,其瞬间恢复的特征和业务连续特征都十分鲜明。
还有观点认为,CDP实际上就是传统的快照技术,这未免偏颇。实际上,CDP技术利用传统快照技术的一些功能,结合实时数据镜像技术和基于IO的日志缓存技术,获得了一种综合的灾难点和历史点的快速恢复能力,早已超出传统快照技术的范畴。
CDP另辟蹊径
展望2007年,人们在翘首期盼CDP的前进。以飞康公司为例,其产品重心之一就是CDP领域的拓展。在其计划中,CDP的连续和系统保护范畴将继续延伸,从目前基于微软的各类操作系统平台延伸到更多企业级系统所采用的Unix平台,为更多行业和用户带来数据系统的高可靠和低成本保障。另外,在精细点恢复技术上,飞康已提供拉杆式的日志恢复技术。飞康的CDP技术使得这种精细点的恢复超越了最近的快照点,走向任何的历史点。这一技术投入实用,将为一些高端的以秒级错误恢复为目标的用户带来具有震撼力的数据保护解决方案。另外,飞康在各类应用的连续性技术上也会有更多突破。CDP技术为各类应用带来的是灵活、快捷和高效的恢复机制,多年来不太灵活的备份体系因为CDP的出现而呈现勃勃生机。
飞康公司在利用CDP技术的同时,也在完善历史数据的存档机制和在线数据、离线数据的分级保护体系。飞康公司将CDP技术和核心的IPStor/VTL技术融合,并提供了将在线的多时间点数据在后台自动提取的Server-less备份技术。人们可利用这种技术,将近期的各时间点数据在不影响应用的情况下,存档到飞康公司的VTL虚拟带库或物理磁带库中,从而获得法规遵从的离线保存能力和长时间历史数据的保管。
随着CDP应用范围的扩大和人们认知程度的加深,CDP作为在线数据的重要保护手段,将独立开辟出一条通道。
归档:ILM中不可或缺的一环
Mike Koclanes
信息生命周期管理 (ILM) 依然是存储界的一个热点话题。虽然大家都认同,信息生命周期管理的最终目标是在信息生命周期内提供更多的智能数据管理,但历史经验表明,这是一项非常棘手的任务。
实施信息生命周期管理策略的一个最大挑战在于了解信息是如何被使用的,并将其价值定量化,同时能将非结构化数据转化为结构化数据。由于目前众多的信息都是非结构化的,而且难以进行归类,各种机构在进行全面信息生命周期管理时遇到了很大困难。解决这个困难可以采用更加细分的应用,使数据特性可以被更全面掌握,同时厂商提供的解决方案要更加精细、成熟。归档就是非常好的例子。
归档不同于在线存储和备份。第一,归档数据必须真实可靠、不可篡改,且满足法规遵从的要求,如采用一次性写入技术(WORM)。第二,归档数据通常保存时间长,如10年、20年、50年或永久。第三,归档数据应易于查询,不需借助系统管理员,只利用检索工具就能在毫秒级或秒级内访问到要查阅的文件。
近几年,归档应用的增长非常迅猛。这主要是由于公司政策和政府行业规范对特定流程和记录有了进一步的要求。ESG的数据显示,需要满足法规遵从要求的数据从2003年的376PB增加到2006年的1644PB,复合年增长率达64%。这促进了对需要归档的数据类型和保存期限的全面评估。即使是非常初步的数据评估,对于构建结构化数据管理,建立和维护一个成功的归档解决方案也是不可或缺的,从而构成信息生命周期管理拼图中的一个关键板块——归档。
定义归档记录的逻辑结构非常重要,但仔细选择物理存储设备同样重要。归档对硬件设备特性的基本要求与在线存储或备份是完全不同的。不同机构所考虑的归档需求重点不同,表中给出了针对大多数机构用于归档方案时,不同存储技术的特性比较。选择合适的归档存储硬件以匹配独特的归档需求,是建立一个可持续运营的经济归档策略的重要环节。
RAID、磁带和光存储都可用于长期归档存储,但各有长短。比如,特殊设计用于归档的RAID可提供非常高的读写速度和容量,但由于使用了可擦写的介质,在记录的真实性方面打了折扣,而且磁盘的寿命只有几年,所以必须进行频繁的数据迁移。此外,硬盘不能移动,无法离线保存在安全的地方,其综合拥有成本非常高。磁带是可以移动的,拥有极高的容量,可提供快速的流式读写速度,且价格低廉。但磁带在随机查询性能方面遇到很大麻烦,而快速的归档查询能力对构建满意的归档系统是非常关键的。同RAID一样,磁带采用了可擦写的技术,对环境有特殊要求,如要做长期存储需要定期更换。DVD采用真实的一次性写入介质,介质寿命长且价格低廉。与磁带和RAID不同,DVD是个人消费级产品,容量低 (9.4GB)、速度慢。更糟的是,它没有后续产品。较老的MO可以满足大多数归档需求,但其较低的容量(9.1GB)导致综合拥有成本过高。
Plasmon公司的30GB UDO蓝光技术能满足所有的归档需求。它是专门用于长期归档存储的产品。针对专业级数据归档的关键需求,UDO提供了长介质寿命,确保了数据真实可靠,降低了整体拥有成本。UDO拥有的特性提供了优异的归档解决方案,适用于大多数应用和行业需求。
展望2007年,归档在一些新兴行业也越来越受到重视,包括地图测绘、石油物探、军队、气象、地震、数字图书馆和档案馆以及电子邮件归档等。
综合考虑法规遵从和日常运营对数据长期存储的要求、结构化的归档数据带来的好处、适合的归档技术对数据可用性的提升,我们确信,将归档首先放置在信息生命周期管理的拼图板上,会带来长期的收益。
VTL:正逐步取代物理磁带库
SEPATON彭涛
虚拟磁带库(VTL)可以兼容磁带备份管理软件,完全继承了传统备份流程。除了其内部构造、外观、速度与物理磁带库截然不同外,对于备份软件和主机系统,它仍然是个磁带库设备。使用它的软件进程能仿真物理磁带库的一切,并可供软件和主机识别的特征,使VTL在可用性和备份的可靠性上得到大幅提升,可无缝、平滑地融入到原有的系统中。
主要功能不断完善
2006年可以说是虚拟磁带库技术飞速发展的一年,各种附加功能不断完善。从功能上看,VTL正在逐步取代物理磁带库。
软硬件压缩功能:由于磁盘在价格上还是比磁带稍高,因此出于成本的考虑,虚拟磁带库厂商都在大力研发自己的数据压缩功能,以实现在较少的磁盘上存储更多的数据。主流技术是通过两种方法实现的。一种是软件压缩功能,一般能够实现2∶1的压缩。由于通过软件压缩要消耗一定的主机资源,因此在压缩数据的同时,整个系统的性能是不能保证的。而硬件压缩的方式是在虚拟磁带库内部,通过硬件压缩卡实现数据的压缩。此种方式的瓶颈是数据在硬件压缩卡上被压缩的过程,要想进一步提高虚拟磁带库的性能,就要优化此过程。
数据远程传输功能:相对于物理磁带库的磁带可以出库,并且可以通过人为的方式转移到异地、实现异地保存的功能,虚拟磁带库厂商也通过软件的功能加以模拟,其主要方式是实现数据的远程传输。通过此功能,用户的数据可以通过IP网络在本地和异地间迁移。这样用户的数据就简单地实现了异地备份,并且消灭了将已出库磁带利用人工方式转移到异地过程中可能发生的磁带损坏、丢失等情况。SEPATON公司可以实现虚拟磁带库数据一对一、一对多、多对一的多方式传输,并可做到在备份软件不干预的情况下,定时定量传输单盘或多盘磁带,乃至整个磁带库数据。
重复数据删除功能:在实现软硬件压缩的过程中,成本降低,却损失了性能。SEPATON公司率先发布了DELTASTOR(重复数据删除)功能。应用此技术后,用户可以在不损失性能的前提下轻松实现25∶1的数据压缩比。此项技术的发布使得虚拟磁带库的性价比有了质的飞跃。
VTL的好处
设备可用性、可靠性提升:虚拟磁带库用内部程序虚拟机械手和磁带驱动器,将它们变为运行在硬件基础上的一个软件进程,代替了机械磁带库中裸露、易损的系列机械装置。采用基于RAID保护和热备份磁盘(Hot Spare Disk)技术,使磁盘阵列具备降级工作能力,电源、风扇、数据通路均采用冗余设计,封闭式结构的磁盘介质本身的MTBF(平均无故障间隔)一般为开放式结构的磁带介质的五倍以上。
数据备份恢复速度大幅提升:由于采用SATA磁盘作为备份介质,磁盘的读写速度可达到280MB/s;用虚拟进程的机械手和磁带驱动器实现磁带抓取、加载、机械定位文件等,大大降低了数据备份、恢复需要的时间。
使用计算机总线的结构代替磁带库的物理电机等机械结构:VTL使用电子信号为媒介,控制所有功能,速度大幅提高,如SEPATON公司的S2100系列产品,单光纤通道数据传输能力可达150MB/s,且能通过扩展数据通道提高数据传输能力。
整体维护成本下降:物理磁带库的维护成本过高,而VTL采用电路设计,可以较低生产成本实现高性能。从体积上看,同容量级别的VTL要比物理磁带库小很多,节省机房空间,使用户可安装更多主机应用系统。
VTL虽然使用磁盘作为存储介质,但不使用文件系统,屏蔽了病毒和盗窃的缺点。同时,磁盘比磁带抗磨损,对环境要求低,容易保存,不会像磁带一样发霉损坏,造成用户数据丢失。
据预测,2011年,全球VTL市场将达14亿美元。未来虚拟磁带库厂商还将继续研发新的功能,以满足各行各业的用户需求。为此,VTL产品会越来越多地加入高级软件功能,并不断提高本身的硬件水平,例如进一步提高备份速率,提高可用于备份的容量,提高数据安全性,减少磁盘控制器和磁盘的硬件故障,真正在虚拟磁带库上实现数据的出库保存,以及一些用户提出的随时查询备份内容,或通过列表查找所要的数据,并指定文件进行恢复的功能等。这些技术问题都有待于通过虚拟磁带库厂商的努力,逐一完善和实现。
4Gb:普及指日可待
浪潮公司
随着4Gb存储产品的价格不断下调,原来阻挡其普及应用的价格门槛必将被打破,4Gb存储产品的广泛应用已如箭在弦。
2007年成主流
与2Gb产品相比,4Gb存储系统具有更快的速度和更便捷的管理性。4Gb可以使服务器与存储设备间的通信速度更快,更迅速地从存储到服务器传递数据,或从实时备份媒体恢复数据。
4Gb光纤通道的向后兼容性,使其能够集成至现有的1Gb和2Gb基础架构中。如果企业想从2Gb转换至4Gb的存储系统,可以先将交换机升级成向下支持2Gb的FC HBA和光纤通道的4Gb产品,传输速度已经可以提升不少。如果企业想要完全发挥4Gb的传输效能,可逐步将交换机、FC HBA、光纤通道都转换成4Gb,那样的效能会更高。
IDC的报告指出,2Gb取代1Gb只用了两三年时间。2Gb向4Gb的转变速度也许会更快,可能在2007年,4Gb存储产品将成为市场的主流。
4Gb顺理成章
1997年,1Gb光纤通道技术广泛应用于外部磁盘存储系统。
随后,FC技术升级到2Gb,更加速了光纤磁盘存储系统的应用普及。FC技术的高性能、高扩展以及高可靠等特性,不仅强化了存储应用的独立化趋势,也为实现集中化、网络化的存储应用提供了可能。
庞大的数据处理和数据传输、巨大的数据存储空间和复杂的应用,对存储系统的可用性和可靠性提出了更高要求。当性能得到充分提升后,网络化的光纤磁盘存储系统已经成为构建核心存储平台的首选方案。
2006年7月,浪潮推出基于4Gb光纤技术的高端存储系统AS1000G2,由此迈出了国内存储厂商实现高端突破的第一步。AS1000G2存储系统采用了端到端的4Gb FC技术,贯穿了活性存储(Active Storage)的技术理念。
8Gb还是10Gb
从技术发展趋势来看,目前的光纤技术有两种发展方向,一种是10Gb技术,另一种是和2Gb、4Gb兼容的8Gb技术。相比而言,10Gb技术的速率更高,但由于10Gb光纤并不具备向下兼容的能力,用户如果希望升级到10Gb光纤平台,则必须更换所有基础设施,成本过于昂贵。而8Gb虽然比10Gb速率稍低一点,但是可以和正在销售和开发的2Gb和4Gb光纤通道产品兼容,通过光纤通道的“自动握手”功能,8Gb产品可自动识别连接设备是否处于低数据率,并调整速度,这样就可大大降低用户的部署成本。未来,哪一种技术能成为市场主流,一方面取决于用户的需求和认可程度,另一方面也要靠厂商的引导。
从2Gb光纤通道发展到4Gb光纤通道,其物理层没有本质的差别,采用的是完全相同的接口标准LC SFP。光纤技术从2Gb过渡到4Gb毫不费力。
建立4Gb的系统环境主要涉及三方面设备:主机端连接设备、磁盘端连接设备,以及两者之间的连接设备。主机端主要是光纤通道HBA卡,磁盘端主要是控制器的接口和磁盘接口,两者的连接设备就是交换机。目前,光纤控制芯片、系统总线带宽、磁盘阵列控制器接口等都不是光纤发展的瓶颈,它们在4Gb光纤发展的道路上已经做好了充足的准备,惟一的瓶颈是磁盘接口。所有的4Gb产品除了磁盘外,其他产品都是纯粹的电子设备,采用机械设备的磁盘是4Gb最为严重的一个障碍。只有当整体网络性能提升后,用户才能真正享受到4Gb带来的便利和快捷。
制约4Gb发展的障碍
目前,用户对4Gb的认识可能存在的误区主要有两方面。
首先,有的用户只看到前端,比如前端和主机连接采用4Gb技术,但后端和硬盘的接口是2Gb,实际上这种系统还是2Gb的系统。其次,有的用户认为4Gb的性能是2Gb的两倍。实际上,一个存储系统不仅要看接口,更要看系统整体性能。现在,4Gb存储的瓶颈主要在于硬盘的读写速率。用户选择存储方案的时候,需要理性分析厂商的方案能力和规划是否符合自身的业务连续性。
制约4Gb发展的主要障碍是用户需求的发展水平。不过,随着用户积累的数据越来越多,对存储系统性能的要求逐步升级,4Gb的普及指日可待。
iSCSI:八大技术看点
崔湧李龙年
随着局部技术的不断改善,iSCSI存储产品的性能、容量将不断得到根本性的提升。我们坚信:2007年将是iSCSI存储产品大展拳脚的一年。
桌面虚拟化
桌面虚拟化技术可以形象地理解为:系统管理员可以根据需要,通过服务器端的管理工具,在客户端开辟相互独立的若干应用空间,同时向每个空间分发或者收回不同的应用软件。终端用户无需在客户机上安装应用软件,但是无论在线还是离线状态,用户都可自由使用这些从服务器端分发过来的软件,配置好的操作系统和应用软件。这样,一方面可像C/S计算模式那样充分利用客户端的计算资源,另一方面也能实现像B/S计算模式那样的集中管理。
桌面虚拟化的最大好处是能从集中位置使用软件来配置PC及其他客户端设备。IT部门可在数据中心管理众多的企业客户机,从而减少现场支持工作,加强对应用软件和补丁管理的控制。
Boot From SAN是利用存储领域的技术来对桌面虚拟化的一种实现方式,即将服务器的操作系统安装在远程的SAN磁盘阵列上,通过SAN而非本地的硬盘来引导系统,其好处不言而喻。
服务器整合
从iSCSI SAN启动降低了每台服务器都从自有磁盘启动的需要。由于每台服务器都可以从iSCSI磁盘阵列操作系统的映像启动,因而服务器可以不配置磁盘,从而节省设备空间,节约管理成本。
集中管理
由于操作系统映像保存在iSCSI磁盘阵列上,因而服务器上的所有数据都有RAID保护。
简化服务器故障恢复
如果服务器发生故障,可避免冗长的修复过程,只需要从iSCSI SAN启动备份服务器,就可迅速获得数据。此外,iSCSI磁盘阵列的快照可用来创建服务器启动卷的瞬时备份,使操作系统能迅速恢复。
快速灾难恢复
可将磁盘阵列上保存的服务器启动卷和生产数据复制到安全的离线设备,以建立可靠的灾难恢复。自动复制功能允许数据从一个iSCSI磁盘阵列复制到另一个iSCSI磁盘阵列,尤其是远程复制。如果灾难损坏了原始组的服务器功能,远程站点就可以接替工作,将停工时间降到最短。
临时服务器负载的快速重置
承担临时高生产工作量的企业,可利用iSCSI Boot from SAN技术启动映像复制,并发布到多台主机以进行快速重置。这些服务器可能只需运行数小时或数天,在生产完成后可以轻松拆除。
桌面虚拟化技术使服务器和数据资源更加集中,结合日趋流行的iSCSI技术及Boot from SAN技术,使桌面虚拟化的管理、配置和实施更安全、简单和可靠。
RAID 6
RAID 6是比传统RAID 5冗余级别更高的磁盘容错系统,数据平均无故障时间(MTDL)也比传统RAID 5更高。但它基于复杂的校验运算,任何一台存储系统或者服务器要实现RAID 6,都需要耗费大量资源。
基于目前的性能和安全瓶颈,RAID 6被更多地应用在中低端磁盘阵列的磁盘容错系统中。我们不建议将现阶段的RAID 6技术应用于大型数据库的关键实时应用中,由此带来的性能和安全问题将使双磁盘容错成为得不偿失的一种数据安全保护方案。
随着P Q算法的优化和ASIC芯片的发展,RAID 6写入速度慢的缺点也会得到进一步解决。RAID 6必将为用户带来更好的利益。
网格存储
存储网格架构可实现数据库和企业之间更紧密的应用整合,提供更高的数据保护,并可基于有关规定更简单地管理数据资源。这些优势可以降低用户在购买、扩容和管理时的费用。
存储网格可以灵活实现不同架构存储系统之间的共享。它超越了数据中心的集中式存储管理,既可应用于SAN环境,也可应用于NAS环境,可对公司所有数据进行统一查看和管理,还可优化分布式企业远程数据访问的性能。
IP存储终成正果
网格与IP技术密不可分,但由于种种原因,IP存储一直没有成为网络存储市场的主流。如今,随着iSCSI标准的确立和万兆网卡的普及,IP存储的发展终于突破了最后一道瓶颈。IP存储在系统造价和兼容性方面的优势是其开拓市场的关键,而相对简单的系统开发技术也大大降低了技术门槛。借助于经济合算的IP网络,IP存储能够使客户的信息基础架构变得更加实惠、简捷和灵敏。
SMI-S标准化稳步推进
网格的出发点就是为了解决异构环境下的IT资源共享问题,但基于不同协议的网格很可能造成相互之间无法沟通,只形成一个个独立的子网格。虽然存储网格的起步要晚于计算网格,但发展速度很快。如今,IBM、EMC、HP和UIT都推出了符合SMI-S规范或通过SNIA认证的产品。
存储网格的展望
基于网格的存储每秒吞吐量通常都是以几百GB或TB计,而非MB。存储网格的I/O将达到几百万到几十亿的IOPS(整数操作/秒)。在不远的将来,存储网格作为单一存储时,在容量上能够线性地扩展到几十PB、EB甚至YB。它可用于在共享网络存储环境下增加额外的存储节点,给NAS市场注入新的活力,也将有助于整个存储产业转向存储公用业务模式,这会让存储的传递变成一种服务。
InfiniBand
InfiniBand贸易协会(IBTA)在其规范中增加了对iSCSI的支持。IBTA在近期的英特尔开发商论坛上宣布,已制定完成一项通过InfiniBand支持iSCSI的规范附件。 被IBTA称为ISER的软件堆栈,支持通过互联网协议运行的SCSI存储协议(iSCSI)。一款基于Linux的支持ISER的开放源版本软件已推出。
SAS
SAS(Serial Attached SCSI)是为了解决并行技术的种种弊端设计的。它能够为企业级存储应用提供更高的性能、扩展性和可靠性。此外,SAS接口兼容SATA。
最初,SAS产品的数据吞吐能力可以达到3Gb/s左右。随着技术进一步完善,其后续几代产品的速度将提升至12Gb/s;SAS技术的全双工模式可以使设备在同一时间内进行双方向数据传输;支持SAS和SATA设备,使用了更细的电缆;具有128个设备的最大接入能力,提供极大的性能扩展;通过SAS扩展器或双端口SAS设备提供容错能力,并可使用2.5英寸硬盘来节省主机空间。
iSCSI结合SAS技术,将为大量IOPS的数据库及OLTP应用提供高可靠的、经济的存储系统。
万兆网
自从10G以太网标准于2002年7月在IEEE通过,行业开发、标准化10G用了五年多的时间。目前,多数设备厂商和用户已经在提供和使用10G以太网相关设备。万兆以太网的技术基本继承了过去以太网、快速以太网及千兆以太网的技术,因此在用户普及率、使用的方便性、网络的互操作性及简易性上都具有极大优势,升级的风险非常低。10G以太网发展迅猛,在过去一年里,其价格也大幅度下降。
随着万兆网技术的成熟和芯片成本的下降,iSCSI SAN与FC SAN相比,将兼具性能和成本的优势,成为SAN市场的主流应用。
iSCSI 安全
随着iSCSI SAN的广泛应用,iSCSI传输的安全性也受到越来越多的关注。光纤通道环境给人感觉具有比较高的安全性,原因在于它们是受控的专有网络。iSCSI给人感觉安全性较低,原因在于它是基于以太网的网络。不过从本质上来说,光纤通道是没有安全功能的,而iSCSI提供了非常丰富的安全功能。
iSCSI规范提供了Initiator与目标端两方面的身份验证,能够阻止未经授权的访问。这些都是传统网络中非常成熟、应用非常广泛的认证保护技术。对iSCSI磁盘阵列来说,如果用户的口令设置太简单,仅靠用户认证不能解决问题,就需要借鉴传统IP网络的办法,在内网和外网之间架设防火墙。如果iSCSI磁盘阵列(Target)和主机(Initiator)需要跨广域网连接,最好使两者以VPN互连。如果以上的安全措施还不足以保障安全,那么IPsec则提供了更高一级的数据保护机制。IPsec加密功能可防止被偷听,确保了私密性。
2007年,这些技术将被不同的厂家采用和实施。
数据加解密技术
网络存储的发展客观上加速了数据的集中,不同用户的数据通过以太网存储在同一个磁盘阵列中,而大部分是以明文的形式保存。因管理员的不慎或者黑客的入侵,都可能导致数据被窃取。因此,基于内容的加密与解密技术在未来将得到快速发展。
动态加解密技术通过采取智能化策略,加之灵活的安全措施,可以让用户在使用过程中不改变任何使用习惯和计算机的文件格式、应用程序。在正常使用时,计算机内存中的文件以明文形式存放,但硬盘上保存的数据却是加密状态,如果没有合法的使用身份、访问权限、正确的安全通道,所有重要的文件都是以密文状态保存。这样,对于非法得到的信息也只是加密后的乱码文件,确保了数据无论何时、何地、何种状态下都处于安全状态。
InfiniBand:现在和未来
司马聪
2006年11月13日,在巨型计算机博览会(SC06)上公布的世界前500名巨型机排名中,用于服务器互联的公开标准协议InfiniBand的占有率首次超过了私有协议Myrinet。到去年6月为止的世界前500名巨型计算机排名中,占有率一直持续上涨的千兆以太网也首次下跌18%。至此,经过三年多的较量,在高性能计算领域,服务器互联网络的首选协议已经明确为InfiniBand。
InfiniBand与RDMA
InfiniBand发展的初衷是把服务器中的总线网络化,所以InfiniBand除了具有很强的网络性能以外,还继承了总线的高带宽和低时延。大家熟知的在总线技术中采用的DMA(Direct Memory Access)技术,在InfiniBand中以RDMA(Remote Direct Memory Access)的形式得到了继承。这也使InfiniBand在与CPU、内存及存储设备的交流方面优于万兆以太网以及Fibre Channel。可以想象,在用InfiniBand构筑的服务器和存储网络中,任意一个服务器上的CPU可以轻松地通过RDMA去高速搬动其他服务器中的内存或存储器中的数据块,而这是Fibre Channel和万兆以太网所不可能做到的。
与其他协议的关系
作为总线的网络化,InfiniBand有责任将其他进入服务器的协议在InfiniBand的层面上整合,并送入服务器。基于这个目的,Volatire已经开发了IP到InfiniBand的路由器,以及Fibre Channel到InfiniBand的路由器。这就使得目前几乎所有的网络协议都可以通过InfiniBand网络整合到服务器中去,包括Fibre Channel、IP/GbE、NAS、iSCSI等。2007年下半年,Voltaire将推出万兆以太网到InfiniBand的路由器。这里有个插曲,万兆以太网在开发过程中考虑过多种线缆形式,发现只有InfiniBand的线缆和光纤可以满足其要求。最后,万兆以太网开发阵营直接采用了InfiniBand线缆作为其物理连接层。
在存储中的地位
今天的InfiniBand可简单整合Fibre Channel SAN、NAS以及iSCSI进入服务器。除了作为网络化总线把其他存储协议整合进服务器之外,InfiniBand可以发挥更大的作用。存储是内存的延伸,具有RDMA功能的InfiniBand应该成为存储的主流协议。InfiniBand的性能是Fibre Channel的五倍,而InfiniBand交换机的延迟是Fibre Channel交换机的十分之一。另外,在构筑连接所有服务器和存储器的高速网络时使用InfiniBand Fabric,可省去Fiber Channel Fabric,从而带来巨大的成本节省。
今天,在使用InfiniBand作为存储协议方面已经有了很大进展。作为iSCSI RDMA的存储协议,iSER已被IETF标准化。
不同于Fibre Channel,InfiniBand在存储领域中可以直接支持SAN和NAS。存储系统已经不能满足于传统的Fibre Channel SAN所提供的服务器与裸存储的网络连接架构。Fibre Channel SAN加千兆以太网加NFS的架构已经严重限制了系统的性能。在这种情况下,应运而生的是在InfiniBand Fabric连接起来的服务器和iSER InfiniBand存储的基础架构之上的并行文件系统(如HP的SFS、IBM的GPFS等)。未来的服务器、存储器网络的典型结构将是由InfiniBand将服务器和InfiniBand存储器直接连接起来,所有的IP数据网络将通过万兆以太网到InfiniBand的路由器,直接进入InfiniBand Fabric。在存储厂商方面,Sun、SGI、LSI LOGIC、飞康软件等公司都已推出自己的InfiniBand存储产品。在中国,新禾科技公司也推出了Infiniband存储系统。InfiniBand有比Fibre Channel高五倍的性能,在价格上则已经与Fibre Channel处于同一个数量级。
在HPC领域外
2006年,InfiniBand在HPC以外的领域得到了长足发展,主要包括在大型网络游戏中心的应用、在电视媒体编辑及动画制作方面的应用。在证券业方面,人们也已经在着手开发以InfiniBand为核心的高速、低迟延交易系统。在银行业,我们也看到了一些以InfiniBand全面取代Fibre Channel的努力。
InfiniBand的未来
Voltaire将于2007年秋推出万兆以太网到InfiniBand的路由器,这将使InfiniBand对数据网络和存储网络的整合得到加速。
Voltaire已经开发出全套的iSER Initiator、Target code。很多存储合作伙伴在利用Voltaire的iSER code开发他们自己的InfiniBand存储系统。预计在明后年,大家会看到更多的InfiniBand存储系统投放市场。InfiniBand已经进入刀片服务器(IBM、HP等),未来两年还会看到这方面更多的努力和成果。
CDP:重新定义数据保护模式
颜军
CDP技术作为一种数据保护的高级形式,已经成为2006年存储行业的一个热点。不仅是CDP技术的倡导者美国飞康软件公司,其他诸多存储界巨头也向CDP技术伸出了橄榄枝,比如IBM、赛门铁克、Commvault等,通过自行研制、收购、OEM等方式大举进入CDP领域。2007年,CDP技术仍将是数据保护技术中的焦点。
传统备份技术的飞跃
持续数据保护(CDP)是一种在不影响主要数据运行的前提下,可实现持续捕捉或跟踪目标数据所发生的任何改变,并且能够恢复到此前任意时间点的方法。CDP系统能够提供块级、文件级和应用级的备份及恢复目标的无限任意可变的恢复点。
CDP技术具有几个关键的高级数据保护特征:连续备份、持续捕捉数据变化;瞬间和即时的恢复,大大优化恢复进程;多点的快照技术,历史数据瞬间可用;系统连续运行。
从持续数据保护的实现和目标来看,CDP在传统数据备份的基础上产生了质的飞跃,这不同于类似VTL这样的备份优化技术所带来的量变。以前,人们往往注重备份策略可行性方案的制定,一旦出现了故障恢复的特定情况,人们却发现传统的备份和恢复与业务连续的目标相距甚远。由于备份是按照策略进行的,恢复时能够保障的数据恢复点也只能是这一策略中所出现的备份点,比如天。另外,故障恢复时的业务恢复点指标更是无法预计,动辄5小时甚至24小时的系统恢复屡见不鲜。其实,人们需要能够实现业务连续和数据连续的真正的数据保护技术。CDP技术从实现效果来看,正是朝向这一目标迈进的新体验。CDP采用了精细化的数据连续捕捉技术,数据获得的间隔可以是连续策略和基于时间间隔的快照。而且,在数据恢复的技术上,CDP采用了即时恢复技术,从而解决了大数据量的传统恢复超时长的难题,达到了瞬间可用,使得业务的恢复和数据的恢复都不再是一件令人头痛的事情。还有一点,为了获得业务的连续运行,人们曾经花费很大力气构建HA的高可用系统,但是CDP的系统远程启动技术使你能在构建数据保护系统时就获得系统故障的恢复能力,系统恢复运行时间仅5分钟。这些关键点以飞康公司的CDP尤为突出,其瞬间恢复的特征和业务连续特征都十分鲜明。
还有观点认为,CDP实际上就是传统的快照技术,这未免偏颇。实际上,CDP技术利用传统快照技术的一些功能,结合实时数据镜像技术和基于IO的日志缓存技术,获得了一种综合的灾难点和历史点的快速恢复能力,早已超出传统快照技术的范畴。
CDP另辟蹊径
展望2007年,人们在翘首期盼CDP的前进。以飞康公司为例,其产品重心之一就是CDP领域的拓展。在其计划中,CDP的连续和系统保护范畴将继续延伸,从目前基于微软的各类操作系统平台延伸到更多企业级系统所采用的Unix平台,为更多行业和用户带来数据系统的高可靠和低成本保障。另外,在精细点恢复技术上,飞康已提供拉杆式的日志恢复技术。飞康的CDP技术使得这种精细点的恢复超越了最近的快照点,走向任何的历史点。这一技术投入实用,将为一些高端的以秒级错误恢复为目标的用户带来具有震撼力的数据保护解决方案。另外,飞康在各类应用的连续性技术上也会有更多突破。CDP技术为各类应用带来的是灵活、快捷和高效的恢复机制,多年来不太灵活的备份体系因为CDP的出现而呈现勃勃生机。
飞康公司在利用CDP技术的同时,也在完善历史数据的存档机制和在线数据、离线数据的分级保护体系。飞康公司将CDP技术和核心的IPStor/VTL技术融合,并提供了将在线的多时间点数据在后台自动提取的Server-less备份技术。人们可利用这种技术,将近期的各时间点数据在不影响应用的情况下,存档到飞康公司的VTL虚拟带库或物理磁带库中,从而获得法规遵从的离线保存能力和长时间历史数据的保管。
随着CDP应用范围的扩大和人们认知程度的加深,CDP作为在线数据的重要保护手段,将独立开辟出一条通道。
归档:ILM中不可或缺的一环
Mike Koclanes
信息生命周期管理 (ILM) 依然是存储界的一个热点话题。虽然大家都认同,信息生命周期管理的最终目标是在信息生命周期内提供更多的智能数据管理,但历史经验表明,这是一项非常棘手的任务。
实施信息生命周期管理策略的一个最大挑战在于了解信息是如何被使用的,并将其价值定量化,同时能将非结构化数据转化为结构化数据。由于目前众多的信息都是非结构化的,而且难以进行归类,各种机构在进行全面信息生命周期管理时遇到了很大困难。解决这个困难可以采用更加细分的应用,使数据特性可以被更全面掌握,同时厂商提供的解决方案要更加精细、成熟。归档就是非常好的例子。
归档不同于在线存储和备份。第一,归档数据必须真实可靠、不可篡改,且满足法规遵从的要求,如采用一次性写入技术(WORM)。第二,归档数据通常保存时间长,如10年、20年、50年或永久。第三,归档数据应易于查询,不需借助系统管理员,只利用检索工具就能在毫秒级或秒级内访问到要查阅的文件。
近几年,归档应用的增长非常迅猛。这主要是由于公司政策和政府行业规范对特定流程和记录有了进一步的要求。ESG的数据显示,需要满足法规遵从要求的数据从2003年的376PB增加到2006年的1644PB,复合年增长率达64%。这促进了对需要归档的数据类型和保存期限的全面评估。即使是非常初步的数据评估,对于构建结构化数据管理,建立和维护一个成功的归档解决方案也是不可或缺的,从而构成信息生命周期管理拼图中的一个关键板块——归档。
定义归档记录的逻辑结构非常重要,但仔细选择物理存储设备同样重要。归档对硬件设备特性的基本要求与在线存储或备份是完全不同的。不同机构所考虑的归档需求重点不同,表中给出了针对大多数机构用于归档方案时,不同存储技术的特性比较。选择合适的归档存储硬件以匹配独特的归档需求,是建立一个可持续运营的经济归档策略的重要环节。
RAID、磁带和光存储都可用于长期归档存储,但各有长短。比如,特殊设计用于归档的RAID可提供非常高的读写速度和容量,但由于使用了可擦写的介质,在记录的真实性方面打了折扣,而且磁盘的寿命只有几年,所以必须进行频繁的数据迁移。此外,硬盘不能移动,无法离线保存在安全的地方,其综合拥有成本非常高。磁带是可以移动的,拥有极高的容量,可提供快速的流式读写速度,且价格低廉。但磁带在随机查询性能方面遇到很大麻烦,而快速的归档查询能力对构建满意的归档系统是非常关键的。同RAID一样,磁带采用了可擦写的技术,对环境有特殊要求,如要做长期存储需要定期更换。DVD采用真实的一次性写入介质,介质寿命长且价格低廉。与磁带和RAID不同,DVD是个人消费级产品,容量低 (9.4GB)、速度慢。更糟的是,它没有后续产品。较老的MO可以满足大多数归档需求,但其较低的容量(9.1GB)导致综合拥有成本过高。
Plasmon公司的30GB UDO蓝光技术能满足所有的归档需求。它是专门用于长期归档存储的产品。针对专业级数据归档的关键需求,UDO提供了长介质寿命,确保了数据真实可靠,降低了整体拥有成本。UDO拥有的特性提供了优异的归档解决方案,适用于大多数应用和行业需求。
展望2007年,归档在一些新兴行业也越来越受到重视,包括地图测绘、石油物探、军队、气象、地震、数字图书馆和档案馆以及电子邮件归档等。
综合考虑法规遵从和日常运营对数据长期存储的要求、结构化的归档数据带来的好处、适合的归档技术对数据可用性的提升,我们确信,将归档首先放置在信息生命周期管理的拼图板上,会带来长期的收益。
VTL:正逐步取代物理磁带库
SEPATON彭涛
虚拟磁带库(VTL)可以兼容磁带备份管理软件,完全继承了传统备份流程。除了其内部构造、外观、速度与物理磁带库截然不同外,对于备份软件和主机系统,它仍然是个磁带库设备。使用它的软件进程能仿真物理磁带库的一切,并可供软件和主机识别的特征,使VTL在可用性和备份的可靠性上得到大幅提升,可无缝、平滑地融入到原有的系统中。
主要功能不断完善
2006年可以说是虚拟磁带库技术飞速发展的一年,各种附加功能不断完善。从功能上看,VTL正在逐步取代物理磁带库。
软硬件压缩功能:由于磁盘在价格上还是比磁带稍高,因此出于成本的考虑,虚拟磁带库厂商都在大力研发自己的数据压缩功能,以实现在较少的磁盘上存储更多的数据。主流技术是通过两种方法实现的。一种是软件压缩功能,一般能够实现2∶1的压缩。由于通过软件压缩要消耗一定的主机资源,因此在压缩数据的同时,整个系统的性能是不能保证的。而硬件压缩的方式是在虚拟磁带库内部,通过硬件压缩卡实现数据的压缩。此种方式的瓶颈是数据在硬件压缩卡上被压缩的过程,要想进一步提高虚拟磁带库的性能,就要优化此过程。
数据远程传输功能:相对于物理磁带库的磁带可以出库,并且可以通过人为的方式转移到异地、实现异地保存的功能,虚拟磁带库厂商也通过软件的功能加以模拟,其主要方式是实现数据的远程传输。通过此功能,用户的数据可以通过IP网络在本地和异地间迁移。这样用户的数据就简单地实现了异地备份,并且消灭了将已出库磁带利用人工方式转移到异地过程中可能发生的磁带损坏、丢失等情况。SEPATON公司可以实现虚拟磁带库数据一对一、一对多、多对一的多方式传输,并可做到在备份软件不干预的情况下,定时定量传输单盘或多盘磁带,乃至整个磁带库数据。
重复数据删除功能:在实现软硬件压缩的过程中,成本降低,却损失了性能。SEPATON公司率先发布了DELTASTOR(重复数据删除)功能。应用此技术后,用户可以在不损失性能的前提下轻松实现25∶1的数据压缩比。此项技术的发布使得虚拟磁带库的性价比有了质的飞跃。
VTL的好处
设备可用性、可靠性提升:虚拟磁带库用内部程序虚拟机械手和磁带驱动器,将它们变为运行在硬件基础上的一个软件进程,代替了机械磁带库中裸露、易损的系列机械装置。采用基于RAID保护和热备份磁盘(Hot Spare Disk)技术,使磁盘阵列具备降级工作能力,电源、风扇、数据通路均采用冗余设计,封闭式结构的磁盘介质本身的MTBF(平均无故障间隔)一般为开放式结构的磁带介质的五倍以上。
数据备份恢复速度大幅提升:由于采用SATA磁盘作为备份介质,磁盘的读写速度可达到280MB/s;用虚拟进程的机械手和磁带驱动器实现磁带抓取、加载、机械定位文件等,大大降低了数据备份、恢复需要的时间。
使用计算机总线的结构代替磁带库的物理电机等机械结构:VTL使用电子信号为媒介,控制所有功能,速度大幅提高,如SEPATON公司的S2100系列产品,单光纤通道数据传输能力可达150MB/s,且能通过扩展数据通道提高数据传输能力。
整体维护成本下降:物理磁带库的维护成本过高,而VTL采用电路设计,可以较低生产成本实现高性能。从体积上看,同容量级别的VTL要比物理磁带库小很多,节省机房空间,使用户可安装更多主机应用系统。
VTL虽然使用磁盘作为存储介质,但不使用文件系统,屏蔽了病毒和盗窃的缺点。同时,磁盘比磁带抗磨损,对环境要求低,容易保存,不会像磁带一样发霉损坏,造成用户数据丢失。
据预测,2011年,全球VTL市场将达14亿美元。未来虚拟磁带库厂商还将继续研发新的功能,以满足各行各业的用户需求。为此,VTL产品会越来越多地加入高级软件功能,并不断提高本身的硬件水平,例如进一步提高备份速率,提高可用于备份的容量,提高数据安全性,减少磁盘控制器和磁盘的硬件故障,真正在虚拟磁带库上实现数据的出库保存,以及一些用户提出的随时查询备份内容,或通过列表查找所要的数据,并指定文件进行恢复的功能等。这些技术问题都有待于通过虚拟磁带库厂商的努力,逐一完善和实现。
4Gb:普及指日可待
浪潮公司
随着4Gb存储产品的价格不断下调,原来阻挡其普及应用的价格门槛必将被打破,4Gb存储产品的广泛应用已如箭在弦。
2007年成主流
与2Gb产品相比,4Gb存储系统具有更快的速度和更便捷的管理性。4Gb可以使服务器与存储设备间的通信速度更快,更迅速地从存储到服务器传递数据,或从实时备份媒体恢复数据。
4Gb光纤通道的向后兼容性,使其能够集成至现有的1Gb和2Gb基础架构中。如果企业想从2Gb转换至4Gb的存储系统,可以先将交换机升级成向下支持2Gb的FC HBA和光纤通道的4Gb产品,传输速度已经可以提升不少。如果企业想要完全发挥4Gb的传输效能,可逐步将交换机、FC HBA、光纤通道都转换成4Gb,那样的效能会更高。
IDC的报告指出,2Gb取代1Gb只用了两三年时间。2Gb向4Gb的转变速度也许会更快,可能在2007年,4Gb存储产品将成为市场的主流。
4Gb顺理成章
1997年,1Gb光纤通道技术广泛应用于外部磁盘存储系统。
随后,FC技术升级到2Gb,更加速了光纤磁盘存储系统的应用普及。FC技术的高性能、高扩展以及高可靠等特性,不仅强化了存储应用的独立化趋势,也为实现集中化、网络化的存储应用提供了可能。
庞大的数据处理和数据传输、巨大的数据存储空间和复杂的应用,对存储系统的可用性和可靠性提出了更高要求。当性能得到充分提升后,网络化的光纤磁盘存储系统已经成为构建核心存储平台的首选方案。
2006年7月,浪潮推出基于4Gb光纤技术的高端存储系统AS1000G2,由此迈出了国内存储厂商实现高端突破的第一步。AS1000G2存储系统采用了端到端的4Gb FC技术,贯穿了活性存储(Active Storage)的技术理念。
8Gb还是10Gb
从技术发展趋势来看,目前的光纤技术有两种发展方向,一种是10Gb技术,另一种是和2Gb、4Gb兼容的8Gb技术。相比而言,10Gb技术的速率更高,但由于10Gb光纤并不具备向下兼容的能力,用户如果希望升级到10Gb光纤平台,则必须更换所有基础设施,成本过于昂贵。而8Gb虽然比10Gb速率稍低一点,但是可以和正在销售和开发的2Gb和4Gb光纤通道产品兼容,通过光纤通道的“自动握手”功能,8Gb产品可自动识别连接设备是否处于低数据率,并调整速度,这样就可大大降低用户的部署成本。未来,哪一种技术能成为市场主流,一方面取决于用户的需求和认可程度,另一方面也要靠厂商的引导。
从2Gb光纤通道发展到4Gb光纤通道,其物理层没有本质的差别,采用的是完全相同的接口标准LC SFP。光纤技术从2Gb过渡到4Gb毫不费力。
建立4Gb的系统环境主要涉及三方面设备:主机端连接设备、磁盘端连接设备,以及两者之间的连接设备。主机端主要是光纤通道HBA卡,磁盘端主要是控制器的接口和磁盘接口,两者的连接设备就是交换机。目前,光纤控制芯片、系统总线带宽、磁盘阵列控制器接口等都不是光纤发展的瓶颈,它们在4Gb光纤发展的道路上已经做好了充足的准备,惟一的瓶颈是磁盘接口。所有的4Gb产品除了磁盘外,其他产品都是纯粹的电子设备,采用机械设备的磁盘是4Gb最为严重的一个障碍。只有当整体网络性能提升后,用户才能真正享受到4Gb带来的便利和快捷。
制约4Gb发展的障碍
目前,用户对4Gb的认识可能存在的误区主要有两方面。
首先,有的用户只看到前端,比如前端和主机连接采用4Gb技术,但后端和硬盘的接口是2Gb,实际上这种系统还是2Gb的系统。其次,有的用户认为4Gb的性能是2Gb的两倍。实际上,一个存储系统不仅要看接口,更要看系统整体性能。现在,4Gb存储的瓶颈主要在于硬盘的读写速率。用户选择存储方案的时候,需要理性分析厂商的方案能力和规划是否符合自身的业务连续性。
制约4Gb发展的主要障碍是用户需求的发展水平。不过,随着用户积累的数据越来越多,对存储系统性能的要求逐步升级,4Gb的普及指日可待。
iSCSI:八大技术看点
崔湧李龙年
随着局部技术的不断改善,iSCSI存储产品的性能、容量将不断得到根本性的提升。我们坚信:2007年将是iSCSI存储产品大展拳脚的一年。
桌面虚拟化
桌面虚拟化技术可以形象地理解为:系统管理员可以根据需要,通过服务器端的管理工具,在客户端开辟相互独立的若干应用空间,同时向每个空间分发或者收回不同的应用软件。终端用户无需在客户机上安装应用软件,但是无论在线还是离线状态,用户都可自由使用这些从服务器端分发过来的软件,配置好的操作系统和应用软件。这样,一方面可像C/S计算模式那样充分利用客户端的计算资源,另一方面也能实现像B/S计算模式那样的集中管理。
桌面虚拟化的最大好处是能从集中位置使用软件来配置PC及其他客户端设备。IT部门可在数据中心管理众多的企业客户机,从而减少现场支持工作,加强对应用软件和补丁管理的控制。
Boot From SAN是利用存储领域的技术来对桌面虚拟化的一种实现方式,即将服务器的操作系统安装在远程的SAN磁盘阵列上,通过SAN而非本地的硬盘来引导系统,其好处不言而喻。
服务器整合
从iSCSI SAN启动降低了每台服务器都从自有磁盘启动的需要。由于每台服务器都可以从iSCSI磁盘阵列操作系统的映像启动,因而服务器可以不配置磁盘,从而节省设备空间,节约管理成本。
集中管理
由于操作系统映像保存在iSCSI磁盘阵列上,因而服务器上的所有数据都有RAID保护。
简化服务器故障恢复
如果服务器发生故障,可避免冗长的修复过程,只需要从iSCSI SAN启动备份服务器,就可迅速获得数据。此外,iSCSI磁盘阵列的快照可用来创建服务器启动卷的瞬时备份,使操作系统能迅速恢复。
快速灾难恢复
可将磁盘阵列上保存的服务器启动卷和生产数据复制到安全的离线设备,以建立可靠的灾难恢复。自动复制功能允许数据从一个iSCSI磁盘阵列复制到另一个iSCSI磁盘阵列,尤其是远程复制。如果灾难损坏了原始组的服务器功能,远程站点就可以接替工作,将停工时间降到最短。
临时服务器负载的快速重置
承担临时高生产工作量的企业,可利用iSCSI Boot from SAN技术启动映像复制,并发布到多台主机以进行快速重置。这些服务器可能只需运行数小时或数天,在生产完成后可以轻松拆除。
桌面虚拟化技术使服务器和数据资源更加集中,结合日趋流行的iSCSI技术及Boot from SAN技术,使桌面虚拟化的管理、配置和实施更安全、简单和可靠。
RAID 6
RAID 6是比传统RAID 5冗余级别更高的磁盘容错系统,数据平均无故障时间(MTDL)也比传统RAID 5更高。但它基于复杂的校验运算,任何一台存储系统或者服务器要实现RAID 6,都需要耗费大量资源。
基于目前的性能和安全瓶颈,RAID 6被更多地应用在中低端磁盘阵列的磁盘容错系统中。我们不建议将现阶段的RAID 6技术应用于大型数据库的关键实时应用中,由此带来的性能和安全问题将使双磁盘容错成为得不偿失的一种数据安全保护方案。
随着P Q算法的优化和ASIC芯片的发展,RAID 6写入速度慢的缺点也会得到进一步解决。RAID 6必将为用户带来更好的利益。
网格存储
存储网格架构可实现数据库和企业之间更紧密的应用整合,提供更高的数据保护,并可基于有关规定更简单地管理数据资源。这些优势可以降低用户在购买、扩容和管理时的费用。
存储网格可以灵活实现不同架构存储系统之间的共享。它超越了数据中心的集中式存储管理,既可应用于SAN环境,也可应用于NAS环境,可对公司所有数据进行统一查看和管理,还可优化分布式企业远程数据访问的性能。
IP存储终成正果
网格与IP技术密不可分,但由于种种原因,IP存储一直没有成为网络存储市场的主流。如今,随着iSCSI标准的确立和万兆网卡的普及,IP存储的发展终于突破了最后一道瓶颈。IP存储在系统造价和兼容性方面的优势是其开拓市场的关键,而相对简单的系统开发技术也大大降低了技术门槛。借助于经济合算的IP网络,IP存储能够使客户的信息基础架构变得更加实惠、简捷和灵敏。
SMI-S标准化稳步推进
网格的出发点就是为了解决异构环境下的IT资源共享问题,但基于不同协议的网格很可能造成相互之间无法沟通,只形成一个个独立的子网格。虽然存储网格的起步要晚于计算网格,但发展速度很快。如今,IBM、EMC、HP和UIT都推出了符合SMI-S规范或通过SNIA认证的产品。
存储网格的展望
基于网格的存储每秒吞吐量通常都是以几百GB或TB计,而非MB。存储网格的I/O将达到几百万到几十亿的IOPS(整数操作/秒)。在不远的将来,存储网格作为单一存储时,在容量上能够线性地扩展到几十PB、EB甚至YB。它可用于在共享网络存储环境下增加额外的存储节点,给NAS市场注入新的活力,也将有助于整个存储产业转向存储公用业务模式,这会让存储的传递变成一种服务。
InfiniBand
InfiniBand贸易协会(IBTA)在其规范中增加了对iSCSI的支持。IBTA在近期的英特尔开发商论坛上宣布,已制定完成一项通过InfiniBand支持iSCSI的规范附件。 被IBTA称为ISER的软件堆栈,支持通过互联网协议运行的SCSI存储协议(iSCSI)。一款基于Linux的支持ISER的开放源版本软件已推出。
SAS
SAS(Serial Attached SCSI)是为了解决并行技术的种种弊端设计的。它能够为企业级存储应用提供更高的性能、扩展性和可靠性。此外,SAS接口兼容SATA。
最初,SAS产品的数据吞吐能力可以达到3Gb/s左右。随着技术进一步完善,其后续几代产品的速度将提升至12Gb/s;SAS技术的全双工模式可以使设备在同一时间内进行双方向数据传输;支持SAS和SATA设备,使用了更细的电缆;具有128个设备的最大接入能力,提供极大的性能扩展;通过SAS扩展器或双端口SAS设备提供容错能力,并可使用2.5英寸硬盘来节省主机空间。
iSCSI结合SAS技术,将为大量IOPS的数据库及OLTP应用提供高可靠的、经济的存储系统。
万兆网
自从10G以太网标准于2002年7月在IEEE通过,行业开发、标准化10G用了五年多的时间。目前,多数设备厂商和用户已经在提供和使用10G以太网相关设备。万兆以太网的技术基本继承了过去以太网、快速以太网及千兆以太网的技术,因此在用户普及率、使用的方便性、网络的互操作性及简易性上都具有极大优势,升级的风险非常低。10G以太网发展迅猛,在过去一年里,其价格也大幅度下降。
随着万兆网技术的成熟和芯片成本的下降,iSCSI SAN与FC SAN相比,将兼具性能和成本的优势,成为SAN市场的主流应用。
iSCSI 安全
随着iSCSI SAN的广泛应用,iSCSI传输的安全性也受到越来越多的关注。光纤通道环境给人感觉具有比较高的安全性,原因在于它们是受控的专有网络。iSCSI给人感觉安全性较低,原因在于它是基于以太网的网络。不过从本质上来说,光纤通道是没有安全功能的,而iSCSI提供了非常丰富的安全功能。
iSCSI规范提供了Initiator与目标端两方面的身份验证,能够阻止未经授权的访问。这些都是传统网络中非常成熟、应用非常广泛的认证保护技术。对iSCSI磁盘阵列来说,如果用户的口令设置太简单,仅靠用户认证不能解决问题,就需要借鉴传统IP网络的办法,在内网和外网之间架设防火墙。如果iSCSI磁盘阵列(Target)和主机(Initiator)需要跨广域网连接,最好使两者以VPN互连。如果以上的安全措施还不足以保障安全,那么IPsec则提供了更高一级的数据保护机制。IPsec加密功能可防止被偷听,确保了私密性。
2007年,这些技术将被不同的厂家采用和实施。
数据加解密技术
网络存储的发展客观上加速了数据的集中,不同用户的数据通过以太网存储在同一个磁盘阵列中,而大部分是以明文的形式保存。因管理员的不慎或者黑客的入侵,都可能导致数据被窃取。因此,基于内容的加密与解密技术在未来将得到快速发展。
动态加解密技术通过采取智能化策略,加之灵活的安全措施,可以让用户在使用过程中不改变任何使用习惯和计算机的文件格式、应用程序。在正常使用时,计算机内存中的文件以明文形式存放,但硬盘上保存的数据却是加密状态,如果没有合法的使用身份、访问权限、正确的安全通道,所有重要的文件都是以密文状态保存。这样,对于非法得到的信息也只是加密后的乱码文件,确保了数据无论何时、何地、何种状态下都处于安全状态。