论文部分内容阅读
随着互联网的飞速发展,全球数据量每年以指数增长,使得云计算成为了当前研究与应用的热点。云存储作为云计算的底层服务,是一种架构复杂的分布式文件系统。因为它具有结构灵活、响应效率高、管理方便等优点,因而成为世界各国解决数据爆炸性增长方案的首选。Hadoop分布式文件系统(HDFS)作为当今最流行的基于云存储的分布式文件系统具有开源、廉价、高容错以及高可扩展性的特点,在云存储领域占居了者举足轻重的地位。然而,HDFS因其结构和性能上的局限性,也存单点失效、并发用户的高延时访问、负载均衡不足等的问题。本文在系统、全面的学习和总结分布式存储系统发展现状和特点的基础上,重点分析了几种常用的分布式存储系统架构的优缺点,同时设计了一个部分对等式的多Namenode系统架构。该架构通过增加元数据服务器层中部分对等的多个Namenode,改变了以HDFS为代表的集中式存储系统对主节点的单点依赖,降低了并发用户的等待时延和元数据服务器的平均内存占用率。同时,本文还深入研究了常用的负载均衡方法,针对HDFS存储服务器负载均衡不足的缺点,建立了磁盘利用率模型和服务阻塞率模型,设计了一种基于本文架构的自适应反馈负载均衡算法。通过算法性能分析与实验仿真进一步论证了本文设计的算法比HDFS系统中的负载均衡算法在系统性能和负载均匀度方面都有一定的优化。