分布式存储系统中故障节点修复及数据更新方法研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:lqgomqj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代分布式存储系统凭借优良的存储性能及低廉的构建成本逐渐代替传统存储系统。分布式存储系统一般将存储数据分别储存于不同节点中,同时使用冗余策略保证数据的安全性,当数据出错时采用容错机制恢复失效的数据;当数据更新时通过冗余策略将数据转发至不同的存储节点。目前主流的冗余策略有多副本和纠删码。与多副本冗余相比,纠删码冗余以其更高的空间利用率而受到关注。但纠删码冗余存储复杂度较高,所以在遇到节点修复或者数据更新时也有着庞大的计算开销和传输开销,虽然其计算开销随着计算机技术的发展在飞速降低,但网络传输所带来的传输开销依然十分庞大。面对纠删码冗余传输开销大的问题,目前主流的研究方向为针对修复过程和更新过程分别构建更优秀的传输拓扑,但研究仍然存在一些缺陷:首先,大多数研究忽略了节点性能对传输效率的影响,没有针对分布式存储的异构网络选择更加优秀的节点参与传输及计算;其次,大多数研究针对传输时延及传输流量的研究为相互独立的,并未考虑两者的trade-off;最后,现有文献及工作大多针对该问题设计局部最优传输拓扑的方式进行解决,其性能并未达到全局最优。针对以上问题,本文针对应用纠删码冗余的故障修复过程及数据更新过程展开研究,主要工作及创新如下:(1)针对应用纠删码冗余的单节点故障修复场景,设计了一种新的单节点失效数据重构方法。该方法通过软件定义网络(SDN,Software Defined Networking)采集网络链路状态,将单故障节点数据恢复问题建模为以修复流量和修复时延为优化目标的最优修复树的优化问题,并设计了一种具有k最优路径预处理的混合遗传算法寻找该问题的近似全局最优解并实现两个优化目标的trade-off。实验结果表明,相较于传统树型修复拓扑和星型拓扑,设计的单节点修复方法的修复效率得到显著提高。(2)针对应用纠删码冗余中采用delta-based更新方式的多节点数据更新场景,设计了一种新的多节点数据更新方法,该方法通过SDN采集网络状态及节点性能信息,对数据更新节点集构建多属性决策模型并通过理想点法求解确定中继节点,之后以中继节点为中心将多节点更新问题构建为以更新流量和更新时延为优化目标最优更新拓扑图模型,并对(1)中设计的基于k-shortest-path预处理的遗传算法进行扩展来求解该问题得到近似全局最优解。实验结果表明,本文所设计更新方法相较于经典更新方案有效降低了更新开销。
其他文献
随着互联网的高速发展,传统网络已经无法满足越来越复杂的网络业务需求和大规模网络数据流量的处理,一种新型的网络架构,即软件定义网络(SDN,Software Defined Network)应运而生。在SDN研究中,单个控制器在大规模的SDN网络中常会遇到性能上的限制。例如当控制器负载较大时,单个控制器不能快速响应交换设备的传输请求,会造成数据丢失,引起网络的故障。为了解决这一问题,SDN多控制器网
学位
教育发展的趋势是终身化和多样化,成人教育作为终身教育的重要组成部分,不仅提高了国民的整体学历水平,同时也为社会输送了大批人才,起到推动社会经济发展的作用。加强成人教育,为公民提供多层次的教育,能够充实和完善终身教育体系。但随着社会形势的变化和成人教育的发展,各地成人教育培训学校新开数量迅速增加,成人教育市场竞争日趋激烈,加上国家整体生源下降和高职院校百万扩招的影响,生源大战日益白热化。在这种背景之
学位
信息技术已然成为社会生产不可或缺的一部分,网络的不断发展和普及也使得信息安全问题日益严峻,更多复杂、隐蔽的入侵手段正在发生。为了维持网络的稳定运行,近年来涌现出许多安全防御和控制技术,由于这些技术的局限性和一些现实原因导致在实际应用中网络系统会产生大量冗余报警,误导网络安全评估工作。除此之外,网络安全事件一般具有大规模、协同、多阶段等特点,现有的技术不能够充分挖掘报警之间的关联性,导致攻击场景的识
学位
随着互联网技术的发展愈发迅速,云计算技术已然广泛应用到互联网的各行各业中,而在其背后存在的虚拟机技术的不足,即技术本身的过分抽象和应用启动速度慢等缺点也愈发体现出来。近几年,以Docker为代表的容器技术的发展愈发迅速,整体上推动了云计算行业的革新,相比于虚拟化技术而言,Docker容器具有更小的镜像、消耗更少的资源、更加灵活的部署和秒级启动等等优点。为了更加高效合理编排和部署Docker容器,容
学位
由于地理位置、历史等原因,我国东部沿海地区与西部内陆地区呈现阶梯状的发展不均衡。为了缩短东西部差距让西部少数民族地区更好地发展,消灭经济社会差距,在社会主义建设的需要下,我国应对提出对口支援政策以期缩小差距、实现民族平等和共同繁荣。二十世纪70年代对口支援这一概念被提出,后经历二十余年的推进,在二十世纪90年代正式以国家政策的形式出现在我国政治经济生活中。为实现“共同富裕”目标,中东部发达地区与西
学位
移动互联网的崛起给心理咨询的发展带来了新契机,促使心理咨询由线下向线上转变。网络心理咨询如雨后春笋般涌入大众视野,给寻求心理专业服务的人们提供了便利,尤其是2019年底爆发的新冠疫情,更将其发展推向了高峰。然而,许多问题逐渐凸显出来,如用户隐私泄露、咨询师信息造假与咨询效果不佳,阻碍了用户对网络心理咨询的使用。因此,有必要明确网络心理咨询用户使用意愿的影响因素,以提升用户使用率,促进行业健康发展。
学位
赤泥(RM)是铝工业生产中产生的固体废弃物,由于其利用率较低,常以堆存方式储存。堆存的RM不仅对环境造成严重污染,还对堆场周围的居民的生活产生威胁,严重限制了铝工业的发展。目前,国内外正在积极探究RM在各领域的使用,解决该问题。因此,介绍了RM的热活化改性、球磨改性、硬脂酸改性、酸处理、偶联剂改性等改性方法及改性后的RM在聚氯乙烯、聚乙烯、聚丙烯、橡胶、聚酯、聚氨酯等聚合物复合材料领域的应用。综述
期刊
基于软件定义网络(SDN)和网络功能虚拟化(NFV)的空地一体化网络将服务所需的虚拟网络功能(VNF)构建成有序的服务功能链(SFC)并映射到物理网络,实现了网络的灵活部署。但现有的SFC构建与映射研究大都忽略了底层物理网络资源分布对构建方案的影响和功能聚合带来的负载不均问题。针对上述问题,本文首先提出了基于三层协作的空地一体化网络架构,对空地网络资源进行协同管理,实现资源的高效利用并为SFC的部
学位
<正>按照市委、市政府统一部署要求,自4月下旬起,我们在确保疫情严防严控的前提下,多措并举做好地产西甜瓜产销对接工作,扛起了疫情下的“甜蜜负担”。目前地产西甜瓜上市量达4.86万吨,第一批春茬西甜瓜销售已近尾声,销售价格与往年同期相比基本持平,产销工作取得了阶段性成效。
期刊
作为语言的基本元素,词汇的组合为语言表达提供无限可能性。然而,尽管我们已经意识到词汇的重要性,词汇教学的效率仍然相对较低。近年来,随着技术教学的快速发展和智慧校园解决方案的兴起,多模态的词汇教学模式似乎很好地解决了这个问题。本研究以多模态理念为理论基础,“Seewo+”为智能工具,验证其在初中英语词汇教学的可行性,希望对国内初中英语词汇教学有所启示。本研究具体探讨以下问题:1.“希沃易+”对初中学
学位