多数据中心背景下的分布式存储系统节点修复技术研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:fencer_2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代对传统存储系统的各项性能提出了全新的挑战,传统存储系统在大规模数据存储方面存在诸多缺陷,所以分布式存储系统凭借其优秀的性能和低廉的构造成本成为了当前大规模数据存储领域的主流存储系统。但由于分布式存储系统的底层设备普遍采用廉价商用硬件,故障率较高,因此,如何在节点失效成为一种常见问题的场景下保证存储数据的完整性与可靠性成为了首要问题。为了防止由节点故障导致的数据失效所引起的业务损失,分布式存储系统通过冗余数据牺牲部分存储空间来保证数据的完整性与可靠性。常见的冗余方案分为纠删码和多副本两种,其中多副本多用来存储访问频率高的热数据,纠删码常用来存储访问频率低的冷数据,现有的大部分分布式存储系统都支持两种方案混合使用,并在普通冗余方案的基础上将数据存储于多中心内,进一步保证数据的完整性与可靠性。当部分节点发生故障导致数据失效时,多副本就近复制其他副本即可恢复数据,纠删码则需要读取其他数据块并进行编码解码来恢复失效数据,这一过程会产生大量的修复流量开销,且修复速度较慢,而多数据中心多份存储同一组纠删码这一策略与纠删码减小存储开销的初衷相违背。因此,针对上述的问题,本文以保证数据的安全性与可靠性为目标,主要工作及创新如下:(1)介绍了一种跨数据中心的数据分布策略,这种数据分布策略以最小存储开销为前提,通过对数据在多个数据中心之间的分布作出约束,将一组纠删码分别存储在多个数据中心,其中每个云中心内部所存储的码块都小于恢复要求。使用这种数据分布策略部署的存储系统,不仅可以容许部分节点失效,还可以允许数据中心级别的事故,保证了数据的高可靠性。(2)针对应用RS码的跨数据中心单节点失效修复场景,综合了树型与流水线修复方案的特点,令树型修复方案中的所有节点都对转发的数据进行合并操作,并考虑到了数据中心内链路可用带宽与节点处理能力的异构,对节点修复时延进行优化。将修复拓扑转化为一个带有约束的修复模型,设计相应的遗传算法求取全局近似最优解。仿真结果表明,对比传统的流水线修复方案和树型贪心算法,重构树的修复时延有效减小。(3)针对最小存储再生码(MSR)的跨数据中心单节点失效修复场景,通过将(2)中提出的单失效节点修复拓扑方案进行推广,在此基础之上引入辅助计算节点,设计出一种新的单节点失效修复拓扑方案,并针对跨数据中心分布策略的约束问题及MSR码本身的节点约束问题,以最小修复时延和最小额外传输开销为目标,设计除了相应的遗传算法进行求解,最终实现修复时延和额外传输开销的trade_off。通过仿真实验的对比,在同等存储规模下,本文所用的修复方案的修复时延较传统树型有较大的优化,与引入辅助节点的三层结构修复树相比也有所改进。
其他文献
随着现代无线通讯技术的发展,智能终端设备也得以迅速普及。这导致了智能终端设备保有量的暴增。再加上物联网(Internet of Things,IoTs)技术的不断成熟,使得智能终端设备所使用的数据流量开始呈现爆发式的增长,人们对于高速数据传输的迫切需求与通讯时延之间的矛盾愈演愈烈。为满足智能终端设备日益增长的无线通信需求,以蜂窝网络基础的端到端(Device-to-Device,D2D)通信技术被
随着北斗三号系统的建设完成,北斗系统在各个领域的重要作用日益凸显,但其局限性也开始显露。在室内环境下,卫星信号被遮蔽,无法进行导航定位。甚至在室外环境下,有时也会受到高大的地形地物的影响,定位的精度和连续性随之下降。伪卫星技术作为GNSS系统的主流辅助定位技术,既能独立组网用于室内高精度定位,又能作为北斗系统的地基增强系统,与北斗系统进行无缝融合定位。因此伪卫星技术与北斗系统相结合,可以弥补北斗系
随着无人机技术发展迅猛,使得无人机在生产生活中被广泛使用,但无人机的不规范使用对航空管制和公共安全造成了威胁。因此,如何对无人机进行有效地检测成为了亟待解决的问题。由于无人机具有飞行高度低、飞行速度慢、不易被发现的特点。同时无人机飞行环境十分复杂,存在大量杂波和干扰,传统的雷达检测方法很难将其从复杂的环境中检测出来。因此,本文提出知识辅助的反无人机雷达检测方法,提高无人机目标检测性能,具体如下:(
随着科学技术的高速发展,人工智能已经广泛应用到医疗、交通、金融等诸多领域,智能看护机器人、自动驾驶汽车等形式多样的智能体在人类生活中也扮演着越来越重要的角色。然而人类在享受人工智能带来的便利之时,也需要解决其带来的伦理问题。例如,机器人误将工人识别为钢板切割、智能音箱建议其使用者自杀、无人驾驶汽车失控致人死亡等。因此,如何确保智能体具备遵守人类基本伦理规范的能力,并与人类进行恰当而友好的互动,是当
随着移动通信、物联网应用的快速发展,用户对应用服务质量提出了更高的要求。边缘计算的出现使得应用服务可以部署在靠近用户的位置,从而降低时延并减少网络负载,提升服务质量。在边缘计算的场景下,不同安全域下的边缘节点的应用往往只为区域内用户提供服务,智能应用的模型参数,用户缓存的数据等保存在本地边缘节点。当用户的地理位置或者网络连接发生变化时,业务的连续性无法保障。因此,为了提供更优质的边缘服务,在保证数
近年来,由于超大规模集成电路(VLSI)制造技术的飞速进步,集成电路的规模与日俱增,使得集成芯片的性能大幅度提升。由于VLSI阵列具备规则的结构以及便捷的实现方式等优势,在微型计算机、雷达、控制等重要领域得到了广泛运用。然而,随着集成电路日趋于复杂,使得集成系统出现问题的可能性也随之增加,从而无法有效的保障集成系统的稳定性。因此,在确保VLSI满足高性能、高速度要求的前提下,为了提高多处理器阵列的
本文通过电弧熔炼与甩带的方法制备出了具有密排六方结构的稀土高熵合金Gd Tb Ho Er、GdTbHoErY、Gd Tb Ho Er La、Gd Tb Ho Er Pr和Gd Tb Ho Er La Y。主要对这些高熵合金做了三个方面的工作:一、通过XRD、SEM和TEM证明了稀土高熵合金GdTbHoErY具有单相的密排六方结构,并且绘制了其磁性相图,研究了其相变类型和磁热效应。二、在稀土高熵合金
空天地海一体化是未来通信发展的重要战略,水下通信作为其中重要的一环,引起了各个国家的极大兴趣。水下无线通信技术主要分为三种:微波通信、水声通信和水下光通信。水下无线光通信具有大带宽、抗干扰能力强、保密性好、体积小等特点,在军事和宽带接入网等领域具有很大的应用潜力。实际的水下无线光通信链路中,海水对光具有吸收、散射等衰减特性,且对于光的影响随波长改变,例如海水中存在蓝绿光谱透射窗(450~550nm
MOSFET功率器件具有驱动方式简单、易集成、易并联、输入阻抗高以及开关响应快等优点,广泛应用在交通运输、生活娱乐以及军事航空等各个领域。但是由于其比导通电阻(Ron,sp)与击穿电压(BV)存在着2.5次方的矛盾关系,于是随着击穿电压的升高,导通电阻显著增加,这严重的限制了MOSFET在高压大功率领域的应用。本文围绕如何改善横向MOSFET功率器件中Ron,sp与BV的矛盾关系,以及如何降低曲率
在建筑密集的城市、深林沟壑的野外和室内等环境复杂的区域,全球卫星导航系统(Global Navigation Satellite System,GNSS)信号容易受到遮蔽,导致定位精度下降严重,甚至无法提供正确的位置服务。为此,在特定区域建立伪卫星定位系统来提供导航信号能够有效弥补卫星导航系统的信号盲区,成为克服此类问题的途径之一。在分布式伪卫星独立组网定位系统中,伪卫星的时钟各自独立,因其工作起