基于分布式存储系统精确修复再生码的研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:pz199
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术的不断进步,信息技术的发展已经超出了人们的想象,人类频繁的网络活动导致网络系统产生的数据量迅速地增加。面对海量的存储数据,传统的集中式网络存储已经难以满足日益增长的大规模存储空间的需求,而分布式存储系统因其海量的存储能力、高扩展性以及低成本的优势被广泛使用和开发。但是,分布式存储系统的存储节点存在可用性不高的问题,随着分布式存储系统的发展和普遍应用,这种隐患带来的数据可靠性问题就越来越严重,如何保证数据的可靠性成为发展分布式存储系统的“当务之急”。保证数据的可靠性主要依赖于数据容错技术,而进行有效的数据修复则是解决数据容错技术的关键,也就是说,在存储系统中发生节点故障之后,有效节点尽可能少地消耗系统资源来完成失效节点的修复。基于网络编码的再生码因其较少的冗余存储量、高可靠性以及低修复带宽被广泛研究。但是,当前所研究的分布式存储再生码存在以下缺点:各种基于分布式存储系统的再生码由于自身结构等原因对存储节点的容忍度大小不一,容忍度越小,存储系统的数据可靠性和安全性就越低,一部分再生码的容忍度低导致可修复的节点数少;尽管有些现有的再生码容忍度大,但是需要高存储容量、高修复带宽或者高计算复杂度的存储系统才得以满足,代价过高。因此,我们需要设计一种高容忍度的再生码,同时有着较低的修复带宽、较低的存储容量以及较低的计算复杂度。针对以上提出的问题,本文在部分复制再生码的基础上,提出了一种多节点修复部分复制再生码MFRRC(Multi-repair Fractional Repetition Regenerating Codes)和一种异构部分复制码HFRRC(Heterogeneous Fractional Repetition Regenerating Codes)。本文的主要工作和创新点概括如下:针对之前的部分复制再生码仅允许存在一个存储节点失效的问题,本文提出了一种多节点修复部分复制再生码MFRRC,其中的研究主要包括编码的构造、数据精确修复过程分析、修复过程中节点选择的优先级的建立以及性能分析。在该编码方法中我们引入了父代存储节点和子代存储节点的概念,即为了保证多个存储节点失效后的精确修复,对原有的存储节点增加了相应的子节点来存储副本,我们通过理论分析得出了这种编码方式不仅提高了容忍度,并且保持了原来部分复制码的优点,同时我们通过设置相关参数对这种编码方式进行了仿真和数值分析,仿真结果表明提出的MFRRC能够大大提高容忍度,同时有效降低了总修复带宽和总修复时间。针对之前的部分复制再生码存在帮助节点数多以及只能允许一个存储节点失效的问题,在异构的分布式存储系统的情况下(即在修复过程中从有效帮助节点所下载的数据量不一样),提出了一种异构部分复制再生码HFRRC,其中的研究内容主要包括编码的构造、性能分析以及存在的问题,同时为了优化这种编码方法提出了扩展结构。在这种编码方式中,我们首先采用了修复带宽异构的编码构造,使得参与数据精确修复过程的帮助节点数减少;其次在异构部分复制再生码HFRRC的扩展结构中,再次引入父代存储节点和子代存储节点的概念,有效提高了容忍度。另外,我们对这种编码方式和其它典型的编码方式在容忍度等性能上进行仿真,仿真结果表明提出的HFRRC不仅大大减少帮助节点数和提高了容忍度,而且总修复带宽较小,数据修复过程快速高效。
其他文献
随着信息技术的高速发展,频繁模式挖掘作为数据挖掘中的重要技术,成为了人们的研究重点。随着应用场景越来越复杂,频繁模式挖掘已经无法满足实际应用的需求,因此加权频繁模式
铁线莲属有300余种原生种,3000多种园艺品种,具有重要的园林应用价值。依据铁线莲不同群组的种植特点和养护需求,将铁线莲分为三大类。本研究选择晚花铁线莲类的‘东方晨曲’
狗牙根(Cynodon dactylon(L.)Pers.)隶属于禾本科(Gramineae)狗牙根属(Cynodon),是暖季型草坪草中坪用价值最高,应用最广泛的草种之一。狗牙根的匍匐茎具有较强的扩展能力,可
时域地空电磁测量系统是在地面铺设长导线源作为发射,无人机在空中作为接收系统。时域地面电磁系统更具有优势,主要是探测快、适用于地形起伏大、难进入的探测区域;相比于航
近些年,智能优化算法因其独特的高效运行机制,逐渐在医疗卫生、工程等多个领域发挥了重要作用。社会群体优化算法(Social Group Optimization,SGO)是一种基于社会群体学习的
超低温保存是植物种质资源中长期保存的最佳途径,提高超低温保存冻后细胞活性并揭示其作用机制是该领域的重要科学问题。碳纳米材料(Carbon Nanomaterials,CNMs)作为新兴的纳米
青海省鄂拉山口银铅锌矿床位于青海省兴海县境内,大地构造位置地处颚拉山造山带南部,位于NNW向温泉-瓦洪山断裂构造带的东南端,在平面上处于EW向构造带、NNW构造带和NE向构造
切换系统作为重要的混杂系统,其在电力系统、交通控制、工程控制等方面都有着广泛的应用。随着科学技术的飞速发展,学者们对切换系统开展了更加深入的研究,同时也取得了丰硕的成果。然而在已有的切换系统的问题探讨中,都假设子系统的切换时刻与控制器的切换时刻相同,但是在实际中,系统是需要时间识别子系统以及选择相应控制器的,这导致控制器的切换产生了延迟,从而使子系统的切换与控制器的切换在某个阶段是不匹配的。本文旨
无线体域网(WBAN,Wireless Body Area Networks)是一种由分布在人体周围的传感器节点组成的小型智能网络。传感器采集人体的一些重要的数据信息,并将其传送到控制中心,实现对人体身体状况的诊断和监控,并被广泛应用于医疗、军事、娱乐、消费电子、智能家居和公共服务等领域,与人们的日常生活中息息相关,越来越受到人们的关注。随着中国人口老龄化现象加重,人民对健康的重视也日渐加深,社会
通化盆地属于吉林省东部盆地群,其盆地主要形成时期是下白垩统,而盆地性质属于断陷盆地。通化盆地的西北部分与柳河盆地接壤,而东南部邻近集安盆地。本文在基于前人研究成果