分布式文件系统自适应负载调度研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:etoy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在分布式文件系统的长时间运行过程中,旧节点的故障淘汰和新节点的动态添加不断发生,同时存储数据也在动态创建和删除。新旧节点在性能上存在一定差距,同时数据的分布和访问也存在随机性,这就会造成分布式文件系统负载不均衡,系统整体不能发挥最大性能,甚至会影响可用性。所以必须通过负载调度机制维持系统的负载均衡状态。分布式文件系统的负载调度机制主要分为副本布局和负载调整两个阶段。针对副本布局阶段,现有方案一般通过静态负载均衡算法或者动态采集存储节点各种负载信息后组合运算进行调度,都存在对异构节点考虑不足和算法复杂等缺点。针对负载调整阶段,现有方案一般通过增加副本或者副本迁移等副本调整手段来修正系统不均衡状态,但是该过程本身会带来一定系统开销,对系统服务存在影响。针对分布式文件系统特点,提出了一种自适应的负载调度机制SALS(SimpleAdaptive Load Scheduling),包括一种轻量级的副本布局方法和一种减少对系统性能影响的负载调整方法。SALS副本布局方法以存储节点中读和写请求队列长度为判断依据,并结合异构节点的最大读写能力,计算出节点当前最长响应时间表征其负载状态,然后将存储节点划分为轻载、中载、过载三种状态进行副本分配。SALS负载调整方法以副本调整为基础,同时客户端能够根据存储节点负载状态自适应调整自身请求发送速率,减少了过于频繁的超时重传,保证在存储节点过载时对系统性能影响较小。通过分别对SALS两个阶段的负载调度进行测试,同时与其它相关算法进行比较分析,证明了SALS负载调度机制对于系统的性能有一定改善,读写吞吐率大致提升了20%左右,平均响应时间大致提升了10%左右,测试表明SALS机制可有效应用于分布式文件系统。
其他文献
作为数字图像处理领域目前研究的热门问题之一,图像复原技术日益受到关注。从国内外的研究现状出发,分析和比较了目前常见的图像复原技术的优势与不足。针对这些优势和不足,对基
Java智能卡已经逐渐被广泛应用于银行、通信等安全性要求很高的领域中。但是受限于当前智能卡的硬件资源,特别是多应用智能卡的流行,卡片的存储资源越来越受到重视,Java卡虚拟机
我国是世界上自然灾害种类最多、灾害发生频率最高且灾害破坏最严重的少数国家之一。最近几年来,无论是自然灾害、各种事故灾害还是公共安全灾害,爆发的频率、规模都明显增加
多射频无线Mesh网络(MR-WMN)是一种新型宽带无线接入网络,它承载着宽带业务、实时业务、可靠业务等多种业务类型。组播是MR-WMN为这些业务提供的一种高效的点到多点通信服务,能
在并行文件系统中,可能会出现各种各样的性能异常的问题。而其中最受关注和难以诊断的问题是集群中的节点没有宕机,仍能够对外提供服务,但是性能表现却极差,进而对整个系统的性能
列车座椅是高速列车上的重要设施,对它的评价好坏直接关系到整辆列车的乘坐性能,影响人们对出行时对交通工具的选择。当代旅客对列车座椅的评价,不仅考虑其外形,更重视舒适的座姿
当前,在以互联网为代表的信息技术广泛普及的基础上,移动互联网、云计算等新兴信息技术快速发展,人们通过微博、社交网络等各种信息媒介相互交流。方便了人们生活工作学习的
该研究论文的主要目标是专注于光突发交换(OBS)网络的性能评估。我们提出了一个仿真基于OPNETModeler的开发性能进行评估OBS网络中存在的自相似流量来源。强加在网络上的自相
随着实际应用需求的不断增加以及Web应用程序技术的发展,Web应用程序的开发和使用日益广泛。Web应用测试是保证Web应用质量的重要手段。Web应用具有内容动态性、运行复杂性和
随着多媒体与互联网技术的高速发展,以图像和视频为代表的多媒体信息呈爆炸性增长。图像特征多种多样,并且大多数特征向量可以达到上百维,甚至上千维,因此实现高维特征向量的存储