基于RS Erasure Code的数据编码和容错恢复工具设计

来源 :河北科技大学 | 被引量 : 0次 | 上传用户:wangyabing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现今,信息科学的进步越来越要求存储系统具有低开销、高可靠的存储特点。Erasure Code技术能较好地解决该问题,但目前已存在的通过Erasure Code技术实现的纠删码工具(如Jerasure等)主要是运行在Linux平台的,少数支持Windows平台的纠删码工具(如ISA-l)大多使用C语言实现,环境配置较复杂,这给Windows用户带来了一定的局限性。因此,设计并实现一个可用于Windows平台且环境易配置的纠删码工具非常有意义。本文设计并实现了一个Windows平台与Linux平台都可用的基于RS Erasure Code的数据编码与容错恢复工具。本工具采用Python语言开发,具有速度快、可跨平台性、操作简单、环境易配置的优点。本文首先叙述了伽罗华域的构造以及在该域上四则运算的定义;接着,使用范德蒙RS纠删码技术来实现本工具的编码与解码;然后,通过Num Py与Numba库对程序的运行进行加速,解决了Python程序执行效率低的问题;最后,对本工具进行了测试。本文分别在Linux平台与Windows平台对本工具进行了测试,测试内容包括耗时、CPU占用率与内存占用率。首先,在同一Linux平台上,对本工具与Jerasure库进行编码与解码测试,并在耗时、系统的CPU占用率与内存占用率方面对二者进行了比较。实验结果表明,本工具编码与解码的速度快于Jerasure库;本工具与Jerasure库的CPU资源占用相当,本工具对内存资源的占用稍大于Jerasure库,但差距较小,一定程度上可忽略。之后,在Windows平台上对本工具进行了测试,测试内容与本工具在Linux平台上的测试内容相同。实验结果表明,本工具在Linux平台与Windows平台上的编码与解码的速度相当;本工具的CPU、内存资源占用稳定。
其他文献
随着人工智能的快速发展,浅层机器学习已跟不上大数据时代的发展需求,为此,大家都在不断的探索新方法。近几年深度学习在自然语言处理(NLP)、图像处理(CV)、语音识别(ASR)等几大领域中的运用取得了重大突破。在自然语言处理领域中有个基础且非常经典的研究方向就是文本分类。传统文本分类先对文本进行预处理(清洗、分词等),然后手动提取文本特征,选取训练学习的分类器,再将文本特征输入到浅层机器学习分类器中
近年来,人们越来越关注英语教学中学生文化意识培养的问题。2017年,教育部发布了《普通高中英语课程标准》,课标确定了英语学科的四大核心素养:语言能力、文化意识、思维品质、学习能力。课标将文化意识放在了非常重要的位置。长期以来,受到应试教育的影响,高中英语教学存在着重视语言知识忽视文化的现象。课程标准颁布已有两年,文化意识培养情况如何?这是一个急需了解的问题。本研究以天津市第二十一中学师生为研究对象
鄂尔多斯盆地区油气储量十分丰富,现有的勘探数据表明,该地区具有特殊的地质条件,对致密油成藏以及富集形成具有十分有利的条件。延长油田致密油勘探开发尚处于初期阶段并且
桁架结构作为空间结构的一种常见形式,广泛的应用于航空航天领域。本文以我国先进空间平台为研究对象,以桁架结构的局部损伤监测为目的,在空间桁架结构理论与量化评估理论的
贵金属纳米材料由于其独特的物理和化学特性而受到广泛的关注。不同于块状金属,纳米材料由于较小的尺寸,大的比表面积和大量的表面原子、缺陷和台阶,使其在诸多领域显示出优异的性能。纳米材料的性能也与其组成、结构和形貌等具有密切的关系。由于双金属之间存在集团效应、电子效应和几何效应等,使其在催化、电催化、表面增强拉曼散射(SERS)、光热理疗和生物传感等领域表现出显著优于单金属的性能。然而,纳米材料较小的尺
随着民间借贷活动的日益盛行,为保证交易安全,设立民间借贷让与担保成为一种趋势。实务中,民间借贷纠纷层出不穷,相同案件的判决结果往往出现不同。2015年9月实施的《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》第24条(下称《民间借贷司法解释》第24条)对按照民间借贷纠纷审理的情形做出了规定,但是对让与担保的性质和效力认定没有进行明确,导致在司法实践中对同类案件的审判结果不能统一。本文认为
利用人工注水保持地层压力来开发油田是油田开发史上的一个重大转折。为了更大化地保持稳产和较高的采收率,注水方式从笼统注水转化为分层注水及精细分层注水。在注水过程中,储层中的物性参数一直处于动态变化的状态,原因在于地层流体的注入和采出使得地层孔隙压力发生改变,由有效应力原理知总应力不变,有效应力便会重新分布,储层岩石发生膨胀或者压缩变形,孔隙度和渗透率也随之改变,这种现象即为流固耦合效应。在分层注采过
传统的电阻率测井仪器测量频率单一,地层参数信息采集少,忽略了岩石的介电频散信息。已有的复电阻率测井仪器测量频率只有两种,阵列感应测井采用不同频率的电信号,只是为了满
矿产行业是关系世界各国经济命脉的支柱行业,同时亦是一个高危行业。井下运输的主要方式是采用矿井轨道机车进行运输,然而由于井下环境的复杂性和危险性,运输事故频发。若要
本文基于某型无人直升机桨叶后缘调整片胶接结构的剥离性能进行研究,探讨增强剥离强度的有效方法,在不影响直升机结构布局和飞行性能的原则上,设计二次加固方案,使调整片不会