分布式存储系统中加速纠删码多条带修复研究

来源 :华东交通大学 | 被引量 : 0次 | 上传用户:grandbill
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在数据爆炸式增长的时代,数据每年在以59%的增长率上涨,为实现分布式系统的高可用性和低存储开销,各种新型技术开始广泛被运用来代替3副本方式。许多分布式系统开始使用纠删码方式来代替副本方式以降低存储开销,如HDFS、Ceph、Swift、GFS等等。虽然纠删码相对于副本可以降低存储开销,但是也带来了更高修复成本。相比于副本方式,纠删码数据修复需要传输更多数据量。分布式存储系统中的节点出现故障时,需要从剩余节点中获取相应数据来帮助修复故障节点,但是当前许多数据修复方式并没有很好的均衡各个节点负载。在修复过程中经常出现资源多的节点传输数据量与资源少的节点传输的数据量相当,这样的方式并没有充分利用好每个节点的网络带宽,极大增加了修复开销成本。本文以大规模分布式存储系统为研究对象,设计了两个进行节点修复时使得节点负载均衡的方法,并且详细阐述了相关技术和理论基础、设计思路以及测试分析。首先,基于大规模分布式存储系统下条带修复时读取数据不均衡的情况,本文设计了一个均衡的数据读取算法。由于随机读取数据可能造成在一个节点读取数据过多,使得读取数据过多的节点成为瓶颈节点。基于贪心算法思想将数据进行分组修复,步骤1:无重复选取含参与修复块最多节点进行分组,步骤2:选好节点后通过节点读取数据块数量的均方差大小来放置条带。循环步骤前两个步骤就可以完成好组。完成分组后,再通过均方差比较来调整修复所需的数据块。其次,基于流水线方式提出了一种的负载均衡的流水线修复方法,改进流水线修复过程中节点计算负载不均衡的问题,可以做到均摊数据计算、传输负载,从而减轻部分节点计算负载过高问题。在此之前,虽然已经存在负载均衡的Comns流水线修复方式,但是Comns构造负载均衡所需对修复数据切分数量条件要求很高。本文提出的Bal方式可以达到每个节点负载均衡同时,实现方式更为简单。对比Basic、Cyclic、Comns流水线,可以得出Bal流水线修复的均衡度有明显提升。
其他文献
2020年贵州“十四五”规划中提出:“处理好增长速度和发展质量的关系,强化区域协调发展的意识,以高质量发展统揽全局。贵州省山地户外赛事发展猛速,已成为贵州体育产业的重要组成部分。为推动贵州山地户外运动强省的建设,提高贵州省竞技体育的核心竞争力,因此,研究贵州省山地户外运动赛事发展回顾与反思对贵州省体育事业的发展具有重要理论意义和现实价值。采用文献资料法、问卷调查法、专家访谈法和数理统计法等研究方法
学位
近年来,互联网的迅速发展为人们的生活带来了极大的便利,社会的生产方式发生了巨大的变化。但随之而来的是不断增加的网络攻击,国家安全、企业安全、个人安全都面临重大挑战,作为检测和抵御网络攻击的重要手段,入侵检测系统一直是学术界和工业界的关注重点。目前,基于网络的入侵检测系统主要使用机器学习和深度学习方法,机器学习对处理大规模的数据具有局限性,同时机器学习的算法性能取决于识别和提取的特征的准确性,而深度
学位
目的:贵州的“十四五”明确提出大力发展绿色生态旅游产业,依托于贵州山地特色,山地体育旅游是我省的未来旅游产业的主要方向。本研究通过研究贵州省山地体育旅游安全保障体系状况及影响贵州山地体育旅游的因素,来构建一套适用于贵州省山地体育旅游的安全保障体系,以此为贵州山地体育旅游安全发展提供安全保障依据。方法:本研究采用文献资料法、专家访谈法、问卷法、实地考察法、德尔菲法及AHP层次分析法和数理统计法等多种
学位
研究目的:通过对国内外身体素养文献梳理,根据专家评定构建出云南省青少年身体素养评价体系并进行实证。丰富了学生身体素养评价的理论,为云南省青少年身体素养评价提供量化标准,促进云南省校园体育工作开展,拓宽推动全民健身、落实终身体育、促进青少年健康发展的思路。研究方法:运用文献资料法、专家访谈法、Cite Space知识图谱软件初步构建指标体系,两轮德尔菲法优化云南省青少年身体素养评价指标体系,优序图法
学位
学位
目的:本研究以摆手舞和健身走作为运动干预方式,观察持续6个月的摆手舞练习对60-69岁的老年人血脂和体质的影响;比较摆手舞与健身走对该年龄段老年人血脂和体质影响的差异,分析摆手舞锻炼的生理机制,促进摆手舞运动在全民健身中的推广。方法:本研究通过设计问卷调查,对百福司镇老年人发放填写、回收,再根据具体的纳入标准和排除标准,最后确定符合要求的摆手舞组、健身走组与对照组每组各20人,男女各半为试验对象。
学位
随着互联网在现代生活中的日益普及,越来越多的设备通过网络实现了互操作,网络空间的安全性也引起了越来越多的关注。恶意流量识别系统用于有效检测网络上的各种异常攻击,是维护网络空间安全的最关键系统之一。但是,目前在网络中,恶意攻击的入侵通常是隐蔽或小规模的,难以被检测识别,这给恶意流量识别系统带来了新的挑战。尽管传统机器学习领域中许多有监督和无监督学习算法已经充分提高了恶意流量识别系统的效率,但它们仍然
学位
背景:原发性高血压作为世界范围性的常见疾病之一,也是其他心血管疾病的主要风险因素。非药物治疗方式—有氧运动,被证明可以改善原发性高血压患者和自发性高血压大鼠的内皮功能,且对DDAH-2表达、ADMA的堆积、e NOS活性、NO的生成量和增龄性血压升高都具有调节作用。目的:有氧运动改善高血压的研究已被证实,本实验通过比较不同运动强度的游泳运动,对SHR大鼠主动脉DDAH-2、ADMA、e NOS、N
学位
在世界政治,经济和文化全球化的今天,国际人才输送和劳务交换成为新的全球化趋势。国内院校热衷于与国外企业展开校企合作,但同时也面临各种问题。基于此背景,本篇文章以A民营高职院校旅游管理专业海外就业的学生作为调查研究对象,对该专业学生从生源选择、培养、海外就业等几个方面进行跟踪调研及问卷调查,综合分析得出该专业海外就业学生现状:一是以酒店旅游行业基层岗位为主;二是就业区域以亚洲为主,遍布世界各地;三是
学位
从三个方面论述了统一战线的理论逻辑、实践成就与经验启示,指出:建立最广泛的统一战线贯穿中国共产党100余年奋斗历程,是党领导革命、建设和改革的重要法宝。百余年来,坚持大团结大联合,团结一切可以团结的力量,最大限度凝聚起共同奋斗的力量是党建立最广泛的统一战线的总体原则、主要路径和基本目的。建立最广泛的统一战线在历史发展进程中始终服务于党在不同历史时期的中心任务,彰显出与时俱进的理论品格和实事求是的现
期刊