论文部分内容阅读
随着网络技术和信息数字化的快速发展,面向海量数据的大型应用纷纷涌现,数据中心里存储服务器集群规模随之不断增大,越来越多的存储节点,给存储系统中的元数据服务器带来了更重的负担,元数据服务器的性能逐渐成为系统中的瓶颈。同时,在单一元数据服务器的存储系统中,系统的扩展性和可靠性受到了严重地制约。因此人们提出了元数据服务器集群技术来提高元数据服务器的性能、可靠性以及扩展性。在研究了现有常见文件系统中元数据服务器集群的设计与实现后,总结出元数据服务器集群技术中,最常见的几种组织元数据的策略,并分析了它们各自的优劣。在现有技术的基础上,提出了基于副本的静态子树分割策略。使用子树划分将元数据划分到集群中不同的服务器上,每台服务器负责处理部分元数据的请求,同时,在集群中为每份元数据维护一定数量的副本,利用元数据请求的重定向,将元数据的访问均衡到不同的副本上,大大降低了系统中出现热点的几率。最后,实现了基于副本的静态子树分割元数据集群应用于分布式并行文件系统(pNFS),功能上实现了元数据服务器的在线扩展、失效处理、失效恢复、负载均衡等功能。测试表明基于副本的静态子树分割元数据集群大幅提高了pNFS的可靠性、扩展性和性能,利用元数据集群中的元数据副本,实现了负载均衡,消除了系统中的热点,弥补了传统静态子树分割的不足。