集群NAS系统CLNASFS的关键技术研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:clarrencewarren
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息时代数据量的急剧膨胀,传统存储系统如存储局域网(SAN)和网络附加存储(NAS)采用的均为纵向拓展的架构,在性能和扩展性上已经难以满足海量数据的应用需求。集群NAS系统技术采用了横向拓展的架构,拥有高性能及易拓展的两大优点,已成为当前构建大型数据存储系统的一种有效解决方式。本文在对当前的集群NAS技术进行研究的基础上,选择了基于集群文件系统的方式,结合现有的成熟稳定的开源软件,设计并实现了一个集群NAS系统CLNASFS。CLNASFS具有高性能、高可拓展能力、高可用、存储空间利用率高等特点,适用于视频编辑、科学技术、视频监控、共享文件存储等对存储系统的性能、容量及可用性要求高的领域。CLNASFS基于集群文件系统Gluster FS、开源CIFS服务器Samba、高可用组件CTDB构建,可对外提供包括CIFS、NFS、HTTP等多种访问协议。该系统采用了无元数据服务器模型,通过文件和目录的拓展文件属性来管理系统的元数据,避免了单点故障问题。本系统所设计实现的核心技术包括:基于类型的数据布局策略、高可用监视模块、服务器端基于硬件的实时文件压缩系统等。其中本文提出的基于类型的数据布局策略还可以被应用于其他的Key/Value存储系统中,具有较大参考价值。同时服务器端基于硬件的实时压缩文件系统既可以在CLNASFS中作为服务器端的压缩模块使用,也可以单独使用配合i SCSI协议对外作为提供压缩功能的块设备使用。最后,通过对比测试,验证了CLNASFS系统在性能、可拓展性、可用性及压缩功能上的优势,证明了该系统的稳定性及其内部各种技术的有效性。
其他文献
随着基因测序技术和人类基因组计划的发展,人类已获得了大量的生物序列数据,并且其积累速度还在飞速增长。生物信息学作为一个新兴学科,对如何利用信息技术来分析生物数据,提供了
随着网络传真技术和OCR技术的发展,网络传真智能监测系统的研究有着广泛的应用价值和理论意义.而作为该系统关键技术部分的传真图像恢复,对于提高传真OCR识别率、丰富图像恢
XML是可扩展标记语言的简称,它为Web上的结构化文档和数据提供了通用的格式。随着Internet的发展尤其是Web技术的广泛应用,越来越多的应用采用了XML技术作为信息表示和数据交换
关联规则挖掘是数据挖掘领域中一个重要的研究方向。为了解决数量型关联规则挖掘过程中“边界划分过硬”的问题,人们将模糊集的有关概念引入到关联规则挖掘中,提出了“模糊关
本文主要研究了模式驱动 J2EE 应用的软件设计方法。首先介绍了设计模式和J2EE 技术,然后对典型 J2EE 设计模式展开论述,对于这些设计模式,本文分析了它们的产生背景、基本原
本文首先介绍了并行编程的背景、以及并行编程面临的问题。然后提出一个并行化模型--基于元任务的用户引导的串行程序并行化模型(Metaparallel),经由并行化模型产生的并行程序能
经济全球化带来了机遇也带来了挑战。价格因素作为主导消费市场的主要因素,一直是影响企业竞争策略的重要方面。利用那些对价格波动产生影响的因素所表现出的信息,结合市场价
近年来,云计算技术发展迅速,已经成为成IT产业发展的一个主流方向。Map Reduce是一个广泛应用于分布式计算环境中的编程模型。由于Map Reduce模型中Map与Reduce阶段的同步过
粗糙集(rough set)理论是由波兰科学家Z Pawlak在1982年提出的一种新型的处理模糊和不确定知识的数学工具。这一理论从新的视角出发对知识进行了定义,它把知识看作是关于论域
随着WWW技术的广泛应用,传统的通用搜索引擎正面临巨大的挑战,存在着查全率不高、检索的精度不高、更新不及时、不能很好地表达用户需求、提交的搜索结果中包含大量与用户无