论文部分内容阅读
随着信息化的飞速发展,数据使用量呈几何级数增长,对存储系统的容量,可扩展性,性能等要求不断提高。云存储伴随着云计算产生,它屏蔽了存储设备存取与管理方式上的差异,提供统一存储访问服务,根据应用特点要求自适应地调整存储调度机制,实现大规模存储的统一管理、高效应用,为用户提供高性能存储与访问支撑平台。分布式文件系统作为云存储系统的底层支撑技术,为云存储系统实现可扩展性、透明性、容错性、管理的灵活性等功能特性提供基础。本文从云存储对分布式文件系统的技术需求出发,对几种典型的支持云存储的分布式文件系统进行分析和比较,对分布式文件系统性能方面的研究现状进行介绍。以典型的面向云存储的分布式文件系统GlusterFS为对象,对其体系结构、数据分布策略、读写操作流程、性能特性及其优化进行了深入研究。首先对GlusterFS独特的模块化、堆栈式的架构进行了研究和分析,对其具有的线性扩展性、弹性卷管理、高可靠性等技术特性进行介绍。对GlusterFS分布式哈希卷、冗余卷、条带卷三种基本卷管理模式下的数据分布策略和实现机制进行研究,并着重对弹性哈希算法机制在GlusterFS中的实现进行了深入研究。其次在理论分析的基础上,搭建实验环境,对GlusterFS的功能特性和性能进行了测试和验证。包括系统线性扩展能力,三种基本卷管理模式下的读写性能,默认分布式哈希卷模式下大文件和小文件的存储性能等。并对测试结果进行了比较和分析。最后针对GlusterFS小文件存储性能不足进行了分析和改进,提出了一种小文件优先级排序合并分块写入策略和相关算法,实验结果证明了策略的有效性。