论文部分内容阅读
随着信息技术的不断发展,全球信息存储量正在以57%的复合年增长率膨胀。大量数据密集型应用对现有的网络存储架构提出了更高的要求。对象存储技术同时具备传统SAN快速访问的特点和NAS跨平台数据共享和强安全性的优势。同时对象存储设备本身具备的智能管理功能。因此,对象存储系统具有高性能、可扩展、高可用性和强安全性等特点,是未来网络存储的发展方向。元数据服务器(MetaData Server, MDS)是对象存储系统的重要组成部分,在对象存储系统中的主要功能包括:管理文件系统名字空间、文件/目录和对象物理存储位置之间的映射、用户访问控制等。因此,MDS集群的处理能力是整个对象存储系统高效运作的重要一环。本文分析了当前主流网络存储架构中元数据服务器集群的负载均衡方案。针对元数据服务器性能异构造成的集群负载不均衡问题,本文提出了一种基于权重的元数据服务器集群负载均衡策略(Weight-based Metadata Server Cluster Load Balancing Strategy, WLBS),并对其在Ceph框架中进行实现。本文的主要研究和开发内容包括以下四个方面:(1)在分析对象存储与传统网络存储技术的基础上,总结了MDS负载均衡技术所涉及的包括元数据分区和服务器热点评价两个关键问题;(2)提出了元数据服务器热点评测模型,主要解决准确获取服务负载状况的问题。该模型在传统计数法的基础上增加了对MDS性能值的考虑,提出了基于操作时延的MDS性能模型。该性能模型避免了传统“白盒”性能模型量化资源影响力的难题,准确评估服务器的当前性能值;(3)提出了一种基于权重负载均衡策略,主要解决MDS性能异构情况下的负载均衡问题。该策略根据(2)中热点评测模型获取节点当前的负载状况,并计算出集群的平均负载水平。为了实现负载与性能相对应的目标,高于平均负载水平的MDS会主动以目录子树迁移方式进行负载迁移,将一部分目录子树迁移到低于平均负载水平的MDS,最终实现异构MDS集群的负载均衡;(4)搭建实验平台,并对策略进行实验评测。对WLBS是否具备对异构MDS集群负载进行调整而使负载均衡化和保持MDS集群处理能力进行验证。大量实验证明本文提出的负载均衡策略可以在异构环境下使元数据服务器集群保持负载均衡,提高了系统的元数据处理能力。