元数据服务器集群负载均衡技术的研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:liwenwu042
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断发展,全球信息存储量正在以57%的复合年增长率膨胀。大量数据密集型应用对现有的网络存储架构提出了更高的要求。对象存储技术同时具备传统SAN快速访问的特点和NAS跨平台数据共享和强安全性的优势。同时对象存储设备本身具备的智能管理功能。因此,对象存储系统具有高性能、可扩展、高可用性和强安全性等特点,是未来网络存储的发展方向。元数据服务器(MetaData Server, MDS)是对象存储系统的重要组成部分,在对象存储系统中的主要功能包括:管理文件系统名字空间、文件/目录和对象物理存储位置之间的映射、用户访问控制等。因此,MDS集群的处理能力是整个对象存储系统高效运作的重要一环。本文分析了当前主流网络存储架构中元数据服务器集群的负载均衡方案。针对元数据服务器性能异构造成的集群负载不均衡问题,本文提出了一种基于权重的元数据服务器集群负载均衡策略(Weight-based Metadata Server Cluster Load Balancing Strategy, WLBS),并对其在Ceph框架中进行实现。本文的主要研究和开发内容包括以下四个方面:(1)在分析对象存储与传统网络存储技术的基础上,总结了MDS负载均衡技术所涉及的包括元数据分区和服务器热点评价两个关键问题;(2)提出了元数据服务器热点评测模型,主要解决准确获取服务负载状况的问题。该模型在传统计数法的基础上增加了对MDS性能值的考虑,提出了基于操作时延的MDS性能模型。该性能模型避免了传统“白盒”性能模型量化资源影响力的难题,准确评估服务器的当前性能值;(3)提出了一种基于权重负载均衡策略,主要解决MDS性能异构情况下的负载均衡问题。该策略根据(2)中热点评测模型获取节点当前的负载状况,并计算出集群的平均负载水平。为了实现负载与性能相对应的目标,高于平均负载水平的MDS会主动以目录子树迁移方式进行负载迁移,将一部分目录子树迁移到低于平均负载水平的MDS,最终实现异构MDS集群的负载均衡;(4)搭建实验平台,并对策略进行实验评测。对WLBS是否具备对异构MDS集群负载进行调整而使负载均衡化和保持MDS集群处理能力进行验证。大量实验证明本文提出的负载均衡策略可以在异构环境下使元数据服务器集群保持负载均衡,提高了系统的元数据处理能力。
其他文献
随着多媒体技术和互联网技术的发展,图像信息越来越得到人们的重视。如何有效、准确地从大量的图像数据库中查找出人们感兴趣的图像成为了人们亟待解决的重要问题。基于内容
Web 2.0的飞速发展使得人们在社交媒体中的参与度不断提高,随之产生的各种携带用户观点和情感的结构化与非结构化信息为研究者们提供了大量可研究的资源,对其进行情感分类可
在基于构件的系统中,随着用户需求、软件运行环境不断地发生变化,系统在运行中需要不停地进行更新,对于某些需要长期运行的关键业务系统,如卫星定位导航系统、金融系统等,这些关键
目前,随着移动智能终端设备计算能力不断增强与存储容量逐渐扩大,而其价格日趋低廉,使得移动智能终端设备得到大量普及。其中,流媒体终端应用日益为人们所喜爱。为移动智能终
电网是人们日常生活中的重要组成部分,为了保证电网的可靠、安全、经济的运行,同时也为了给低碳经济开辟道路,建设智能电网已成为当今发展的必然趋势,智能电网建设中的电力设备状态监测举足轻重,监测信息的实时通信也越发重要。本文中首先深入细致地研究和分析了IEC61850标准与制造报文规范的基本组成及特点,着重研究了IEC61850标准中的抽象通信服务接口模型的通信结构和服务以及特殊通信服务映射,而后依据I
随着虚拟现实技术和现代医学的快速发展,虚拟现实技术已被广泛应用到医学仿真中,形成虚拟手术仿真这一全新的研究领域。目前,随着现代医学的不断发展,内窥镜手术因其所具有的康复
传感器网络集成了传感器技术、嵌入式计算技术及现代网络技术于一体,一种新的信息采集和处理技术。无线传感器网络由于其前景广阔的应用前景而成为现代通信技术的一个新的研究
随着信息时代的到来,网络信息爆炸式增长,导致了各搜索引擎数据过载现象严重。如何快速有效地挖掘有用的知识,特别是提取网民对事件的情感、意见和态度等已成为重要的研究课
互联网的快速发展使人们的生活发生了巨大的变化,我们的生活被各种信息充斥着。各种媒体信息如文本、图像、音频、视频等每天都在大量地增加,而且随着时间的演化,相关的媒体
随着现代化信息技术的不断发展,设备的维护与使用所需要的技术资料的数量急剧增加,技术资料编写过程中的问题也日益突出。传统的技术资料编写形式已经不能够满足信息化发展的