树结构磁盘阵列组织策略及关键技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:zhjic
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数字化信息的爆炸性增长,对存储系统的性能、扩展性和可用性等提出了较高的要求。磁盘阵列(Redundant Array of Independent Disk, RAID)作为存储系统中的核心存储设备,其以可靠性高、并行性好等优点,从提出之日起就备受学术界和产业界的关注。然而现有磁盘阵列所采用的集中式控制结构容易产生性能瓶颈,且扩展性不好。高端企业级磁盘阵列往往采用专用的硬件部件,并通过高度冗余的结构设计和定制的通道结构来提高阵列的性能和可靠性,但这些方法价格昂贵且升级困难。因此,探寻一种具有高性价比、高可靠、易扩展的大规模磁盘阵列组织方法,来应对飞速增长的存储需求,已成为摆在研究者面前的重要课题。   采用标准存储单元构建模块化存储系统是当前存储系统的发展趋势,该方法具有性价比高和扩展性好等优点,但现有模块化存储系统研究忽略了存储单元之间的组织结构,借鉴高性能计算领域中的拓扑结构研究,并考虑到存储系统I/O访问自身的特点,提出了一种模块化树结构互联的分层磁盘阵列结构MT2RAID(Modular Tree-connected Multi-Tier RAID)。MT2RAID由标准的存储系统单元组成,其中每个存储单元包含CPU、内存、磁盘和接口部件等,存储单元之间通过胖树结构互联通道进行连接。   在MT2RAID结构中,每个存储单元都是一个独立的存储子系统,由于其由标准部件组成,只能提供有限的性能和可靠性,为了满足系统不同性能和可靠性的要求,设计并实现了三种不同的数据分布方式,MT2RAID-S采用无校验块交叉方式,MT2RAID-M采用分级镜像方式,MT2RAID-P采用分级块交叉奇偶校验方式。考虑到MT2RAID层次性结构的特点,进而又采用层间写日志方法和层间缓存方法来进一步优化系统读写性能。   与集中式磁盘阵列结构相比,MT2RAID结构在性价比和扩展性上具有很大优势,但MT2RAID结构中每个存储单元的资源有限。为了最大限度地提高MT2RAID结构的性能,采用全局协作缓存管理方法,充分利用MT2RAID结构中其它存储单元的空闲缓存资源,在不增加每个存储单元内存大小的情况下,提高MT2RAID结构中缓存资源的利用率,减少磁盘I/O。同时,MT2RAID全局缓存空间大小也会随着系统中存储单元的增加而线性增长。   MT2RAID作为一个由模块化存储单元构成的大规模磁盘阵列结构,其存储空间管理是需要解决的另一个重要问题,随着应用需求的增加,存储系统应能提供灵活多变的存储服务。MT2RAID通过内部存储虚拟化方法将各存储单元的存储空间形成一个虚拟存储池,进行统一管理,并根据外部应用需求进行动态分配,这种方式还有利于提高存储单元中磁盘存储空间的利用率。   磁盘阵列、数据复制和和远程镜像等技术,可以在磁盘出现故障或站点失效时,对系统中的数据提供有效的保护,但无法避免软件缺陷、病毒攻击和人为操作失误等软故障导致的数据丢失。结合MT2RAID结构分层的特点,采用持续数据保护、快照和数据备份等技术构成一个多级数据可恢复方法,在不同层提供不同的访问性能、数据可靠性和数据可恢复性。针对现有写时拷贝快照和持续数据保护方法中写操作开销较大的缺点,提出多线程并发执行和日志方式的优化方法,分析及实验结果表明,这些优化方法可有效地提高快照和持续数据保护方法的性能。   绿色节能是当前数据中心发展的趋势,MT2RAID作为一种大规模磁盘存储系统结构,其能量消耗也是需要关注的问题。现有的基于磁盘中数据分布的节能方法,主要从提高数据命中率的角度出发,而忽略了访问缺失对磁盘状态的影响,进而影响到磁盘存储系统的节能效果。通过对访问负载的分析,提出一种基于数据聚集的节能方法,其将经常访问且关联性较强的数据聚集到少数活动磁盘中,以延长其他磁盘处于空闲状态的时间。该方法的另一个好处是,通过将经常访问的数据聚集到一起进行放置,还可以有效地减少磁头臂的寻道时间和旋转等待延迟,在提高访问性能的同时进一步减少活动磁盘的能耗。
其他文献
随着通信技术的迅速发展,用户对带宽的需求越来越高。以成熟的以太网技术为基础的以太无源光网络(Ethernet Passive Optical Network,EPON)采用点到多点结构、无源光纤传输,
随着计算机网络的应用推广以及数字多媒体技术的迅速发展,视频在传输过程中遭到攻击或侵权的问题越来越严重。目前,视频信息隐藏作为信息安全的重要手段之一,已经成为信息隐
学位
如今市场对产品的设计要求越来越高,而产品结构也变得更复杂、功能也变的更强大,如果继续使用基于文本的系统工程(Text-Based System Engineering)这种传统的方法,将不能顺利地开发出复杂产品,因此,基于模型的系统工程(Model-Based System Engineering)被研究者提出,它的出现将开发复杂产品的系统工程中出现的许多问题很好地解决了。运用基于模型的系统工程方
软硬件资源的不断成熟和完善,使得嵌入式系统应用得到了十分迅猛的发展。另一方面,互联网技术的发展,使得Internet逐渐深入到人们的日常生活中。嵌入式控制网络与信息网络的
渤海海域在地理位置的作用下,每年冬季都会有海冰生成。同时由于渤海处于亚热带季风气候区内,受季风气候的影响每年的冰情都不相同。冬季的海冰会对海上的生产运输产生影响,
关联规则挖掘作为数据挖掘中的一个重要问题,已经广泛地应用于各大商业领域,成为数据挖掘中最主要的研究内容之一。多维关联规则作为关联规则的一种重要形式,在近年来也得到
随着计算机和网络技术的飞速发展,多媒体信息的复制、存储和加工变得越来越容易实现,如何判定数字多媒体信息的真实性和完整性也成为了一个亟需解决的问题,基于数字水印的认
随着信息技术的快速发展,数据采集和存储技术开始广泛应用于人们的生产生活,很多领域都积累了大量的数据。所获取的数据正在以指数级的速度增长。然而这浩如烟海的数据只有部
互联网技术的迅猛发展,为传统的易货贸易提供了信息共享和支付交易的新平台,大大提高了传统易货交易的可操作性。以债务链为基础,用物资链解决债务链问题的易货贸易模式,能够
通过BREW项目过程中不断的开发和维护我认识到,如果能有一个通用的BREW应用引擎能够支撑大多数的BREW应用,那么我们就能大大缩短开发和维护的时间而达到事半功倍的效果。正是