论文部分内容阅读
在分布式文件系统的长时间运行过程中,旧节点的故障淘汰和新节点的动态添加不断发生,同时存储数据也在动态创建和删除。新旧节点在性能上存在一定差距,同时数据的分布和访问也存在随机性,这就会造成分布式文件系统负载不均衡,系统整体不能发挥最大性能,甚至会影响可用性。所以必须通过负载调度机制维持系统的负载均衡状态。分布式文件系统的负载调度机制主要分为副本布局和负载调整两个阶段。针对副本布局阶段,现有方案一般通过静态负载均衡算法或者动态采集存储节点各种负载信息后组合运算进行调度,都存在对异构节点考虑不足和算法复杂等缺点。针对负载调整阶段,现有方案一般通过增加副本或者副本迁移等副本调整手段来修正系统不均衡状态,但是该过程本身会带来一定系统开销,对系统服务存在影响。针对分布式文件系统特点,提出了一种自适应的负载调度机制SALS(SimpleAdaptive Load Scheduling),包括一种轻量级的副本布局方法和一种减少对系统性能影响的负载调整方法。SALS副本布局方法以存储节点中读和写请求队列长度为判断依据,并结合异构节点的最大读写能力,计算出节点当前最长响应时间表征其负载状态,然后将存储节点划分为轻载、中载、过载三种状态进行副本分配。SALS负载调整方法以副本调整为基础,同时客户端能够根据存储节点负载状态自适应调整自身请求发送速率,减少了过于频繁的超时重传,保证在存储节点过载时对系统性能影响较小。通过分别对SALS两个阶段的负载调度进行测试,同时与其它相关算法进行比较分析,证明了SALS负载调度机制对于系统的性能有一定改善,读写吞吐率大致提升了20%左右,平均响应时间大致提升了10%左右,测试表明SALS机制可有效应用于分布式文件系统。