论文部分内容阅读
随着电子信息技术的发展,新的信息以一种前所未有的速率在产生和处理,同时网络也大大加快了信息传播的速度,这使得对海量信息的处理成为了人们的一种迫切需求。仅仅使用本地存储应对这些信息会受到很多功能和性能的限制,如低可靠性、较差的移动性和不利于文件共享等,人们开始倾向于使用网络存储这种新手段。分布式文件系统是网络存储的基础组成部分,其研究也受到了学界和工业界的广泛重视。
本文的研究是在分布式文件系统的存储层面使用网络编码方法,对文件进行分段分块编码存放,并且在系统功能的设计实现上给出网络编码的方案。本文显示了网络编码在分布式文件系统中应用的可行性与有效性,而且本文系统与常用的复制方式相比,在占用相同的存储空间的情况下可以实现更高的数据可靠性;与纠错编码方法相比,不需要中心节点保存大量的有关编解码的信息,在进行数据编码解码时不需要中心节点的参与,从而有效地降低了其负载,提高系统整体的效率。借助网络编码的机制,中心节点可以更加容易地保持系统的负载均衡性,在发现数据失效时对节点和数据进行恢复,在有新节点加入时发起再均衡化过程,保证了系统具有良好的扩展性。本文工作主要包括以下几个方面:(1)采用集中式的系统架构设计分布式文件系统,包括索引服务器、存储节点和客户端三个部分;(2)采用网络编码方法设计对文件进行分段分块的编码放置策略;(3)设计具有统一命名空间的文件系统接口层,遵守位置透明性和无关性,提供基本的文件操作;(4)使用网络编码方法解决系统的负载均衡和节点恢复问题。
本文首先介绍了分布式文件系统的研究现状,及其具有的功能和分类,在对存储层常用的数据放置冗余策略进行介绍之后,给出了本文采用的网络编码方式的数据放置方案;之后详细描述了系统的设计和实现,以及对负载均衡和节点恢复问题的解决方案;最后介绍了实验设计方案和性能评测结果。