分布式存储系统中的部分重复码构造

来源 :长安大学 | 被引量 : 0次 | 上传用户:troy0215
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代背景下,如何将海量数据进行有效存储成为当下研究热点。传统的集中式存储曾短暂解决过这一问题,但其存储代价高昂且存在系统性能瓶颈,使得分布式存储系统逐渐代替其成为海量数据存储的首选方案。分布式存储系统具有成本低廉、可扩展性高的特点,目前对分布式存储系统的研究主要集中在存储节点故障时如何对其进行修复,保证分布式存储系统的可靠性。分布式存储系统中,常见的故障节点修复策略有复制策略与纠删码策略,但这两种修复策略都存在着各自的局限性。复制策略需要的存储开销过大,纠删码策略则在故障节点修复过程中修复带宽开销过大。部分重复(Fractional Repetition,FR)码的提出在一定程度上避免了上述局限性,FR码在修复故障节点的过程中拥有较低的修复局部性与修复带宽开销,且能够对故障节点进行无编码快速修复,这些特性使得FR码一经提出便得到广泛关注。为此,论文针对分布式存储系统中FR码的构造算法进行了研究,主要内容如下:(1)针对部分重复码的有效修复及节点存储容量不同的问题,提出一种基于Harary图的部分重复码的构造方法。首先通过向Harary图的边中按规律填充数据,再将其转化为关联矩阵得出一种简单部分重复码的构造,进一步引入生成树对Harary图顶点按离心率分组构造出了一种新型部分重复(Fractional repetition based on spanning trees of Harary graph,FRSH)码。这种FRSH码可实现节点存储容量的异构,且相较于现有的RS(Reed-Solomon)码和简单再生码(Simple Regeneration Codes,SRC),FRSH码在修复带宽开销、修复局部性等方面性能更优,且改善了修复效率。(2)为改善分布式存储系统中多节点故障的修复效率,提出一种基于正则矩阵的部分重复(Fractional Repetition based on Regular Matrix,FRRM)码构造算法,在节点容量异构FRSH码的基础上进一步实现了数据块重复度的异构。具体地,首先基于单个正则矩阵构造节点容量同构的FR码,该构造算法得到的FR码具有一般好的特性。其次,为进一步满足实际存储环境中冷热数据的不同存储需求,通过矩阵级联的方式将具有不同重复度的FR码的关联矩阵对角级联,可将数据块重复度与节点容量同构的FR码扩展至异构FR码。在这种异构FR码中,访问频率较高的热数据具有更高的重复度,访问频率较低的冷数据具有更低的重复度,且可根据冷热数据访问频率的变化通过冷热数据调节矩阵对FR码中冷热数据的重复度灵活调节。将其与RS码、SRC以及传统FR码相比,构造的RMFR码在计算复杂度、修复带宽开销等方面均获得了更低的开销,且相较于传统FR码具有更优的存储效率与系统适应性。
其他文献
近年来,随着高速铁路的快速发展,铁路无线通信系统的系统容量需求日趋增加,如何在满足日益增长的系统容量的同时提高乘客的通信体验变成了铁路事业发展的主要着力点。长期演进的铁路移动通信系统(Long Term Evolution for Railway,LTE-R)因其扁平化和IP化的网络特征,具有传输速率高、系统时延低等优势,已经成为铁路通信系统的主要发展目标。越区切换技术是LTE-R的重要组成部分,
面向行人的多目标跟踪是实现智能监控系统的核心任务之一,通过多目标跟踪算法对输入的视频序列行人目标进行数据提取和行为分析,使智能监控系统能更高效的感知复杂场景。在当下疫情期间,政府需要对病毒携带者和接触者的轨迹密切关注,因此智能监控系统会在该环境下发挥重要作用。论文基于现有Fairmot多目标跟踪框架,提出三点改进,提高对行人的跟踪精度。主要工作概括为以下几个方面:(1)对传统的行人检测算法DPM和
准噶尔盆地玛湖凹陷是盆地内富油凹陷之一,近些年成为研究的热点,其中玛湖凹陷风城组是油气勘探的重点层位。风城组地层形成时的环境较为特殊,为碱性湖泊环境,并受到火山活动的影响,而且风城组经历的成岩作用及形成的岩石矿物与在正常湖泊环境下有所不同,因此具有重要且特殊的研究价值。本研究以岩心薄片为基础,采用岩矿鉴定、扫描电镜(SEM)、电子探针(EPMA)、阴极发光(CL)和激光拉曼(LR)等测试手段,探讨
Ni3S2具有出色的化学稳定性和良好的电子电导率,作为钠离子电池负极显示高理论比容量;然而,其在循环过程中会面临严重的体积膨胀及材料粉化,导致其循环稳定性差。为了解决上述问题,本论文从结构设计,表面改性和形貌调控等方面对Ni3S2电极进行改进,主要研究成果如下:(1)采用化学镀方法,通过原位形成的氢气泡作为模板,控制镀液p H值和温度,获得具有不同孔结构的三维多孔镍。结果显示,化学镀液的p H=9
二次供水作为城镇供水系统的“最后一公里”,是一项重要的民生工程,是增进人民福祉的基础保障。二次供水泵房能耗在整个城市供水系统能耗中占比较大,多数泵房能耗高的问题亟待解决。为提高二次供水设备效率,充分发挥叠压供水设备节能优势,本文主要针对叠压供水设备节能分析与运行优化进行以下研究:首先,研究叠压供水设备能耗组成和各个能量传递环节中效率与调速比关系,综合分析确定设备调速比范围为75%~100%。根据各
石墨烯的成功剥离,打开了探索二维半导体材料的大门。二维半导体材料优异的物理性质、实验室上的成功制备、广泛应用在纳米电子和光电领域等方面使其成为材料研究领域的焦点。但单个的二维材料不可避免地存在一些缺陷。两种或多种二维材料通过层间范德华力垂直堆叠在一起形成的范德华异质结构的出现弥补了单个二维材料的不足并获得了愈加优异的特性。这种异质结构材料选取多样、简单;形成后具有特殊的界面态;易于调控的电子结构等
出租车凭借方便、快捷、舒适度高等优点,广受出行者的喜爱,一直是城市居民常用出行方式之一。然而,随着城市传统出租车数量的增加及网约车的出现,出租车交通事故率也逐渐上升,对交通安全提出了巨大挑战。传统交通安全分析方法原理简单易懂,但缺乏对交通系统宏观层面的把控,本质上属于“事后补救”。近年来,学者们开始引入“交通安全规划”的思想,宏观规划层面的要素被纳入研究范畴,以交通分析小区(TAZ)为基本单元,分
植被净初级生产力是生态系统碳循环的重要环节,是调节生态过程的主要因子,直接反映了植被在自然环境条件下的生产能力和陆地生态系统的质量状况,在全球气候变化和碳平衡中扮演着重要的角色。因此,研究渭河流域植被净初级生产力时空变化特征、探究其对环境因子的响应情况及未来发展趋势,具有重要的理论与现实意义。本文基于遥感影像数据、气象观测数据、数字高程模型数据和土地利用类型数据等,以Arc GIS10.2、ENV
振动搅拌作为提高混凝土搅拌质量和效率的有效方法,已经在实际工程中得到了良好应用。然而在使用中发现,由于机器实测振动强度和振动分布规律与设计结果不一致,存在着混凝土产品质量不稳定、机器运转稳定性和可靠性差等问题。不合理的激振结构与参数是造成问题的重要原因之一。因此,本课题研究对提高振动搅拌机械的技术水平,充分发挥振动搅拌对混凝土材料的改善效果,具有重要的理论和实用价值。本文采用理论分析、计算机仿真和
随着工业物联网运营环境的逐渐成熟,在家具行业中,其生产线将逐步向自动化、智能化和网联化方向发展。在生产线升级的过程中,首先要解决板材特征边识别与匹配的问题。只有正确识别板材的各个特征边之后,加工设备才能与数据库中的信息匹配,并对板材做出相应的动作,避免误加工。因此,针对上述问题,本文设计了一种基于嵌入式的板材特征边识别系统。该系统具有一定的灵活性与智能性,可在满足精度要求的情况下完成识别与匹配任务