【摘 要】
:
随着大数据时代的到来,容错存储系统中的纠删码技术因其较低的存储开销和较高的容错能力受到了越来越多的关注,而其中数据的重构效率是纠删码难以广泛应用的瓶颈所在。目前,
论文部分内容阅读
随着大数据时代的到来,容错存储系统中的纠删码技术因其较低的存储开销和较高的容错能力受到了越来越多的关注,而其中数据的重构效率是纠删码难以广泛应用的瓶颈所在。目前,针对重构技术的研究主要从编码方案和重构过程两个方面展开,其中分组码是从编码方案角度改进数据重构效率的一种新型纠删码,它具有编码结构简单、重构开销较低等优点。但是现有分组码的编码参数调配不够灵活,难以达到存储开销、容错能力、容错率以及重构开销等性能的动态配比。而且目前针对分组码在重构过程上的性能改进研究比较少,难以实现编码方案与重构过程的有效结合。针对上述问题,本文研究了已有分组码的编码结构与算法以及重构过程中的主要技术,分别从这两个方面对重构技术进行改进以提升容错存储系统中数据的重构效率。论文的研究工作分为以下两个部分:(1)提出一种基于分组码的动态编码方案——DLRC(Dynamic Local Reconstruction Codes)。选取了四个参数来表征DLRC码:初始数据块的个数,全局校验块的个数,局部校验块的个数以及参与计算每个局部校验块的编码块个数。并给出了DLRC码的编码结构和编码算法以及使用DLRC码进行重构的主要流程。通过调整编码的参数值并配合相应的编码算法进行实验,考察参数变化时存储开销、容错能力、容错率以及重构开销四个性能的配比变化。并通过DLRC码与常用纠删码对比实验来验证DLRC码在上述四个性能上的优缺点。(2)提出一种基于网络拓扑和计算能力的树型重构方法——TR-NTCC(Tree-structured Reconstruction based on Network Topology and Computing Capability)。首先以节点间网络距离为权值生成新生节点与重构参与节点间的带权无向图并获得相应的邻接矩阵,然后根据MRTree(Minimum Reconstruction Tree)算法构建最小重构树并判断最小重构树的个数是否唯一。当最小重构树唯一时,该最小重构树即为最优重构树;当其不唯一时再判断不同重构组合中差异节点的计算能力,选择计算能力较强的重构参与节点组合构建的最小重构树作为最终的最优重构树。实验通过对比TR-NTCC与星型重构方法的网络传输总距离以及不同重构组合的重构时间来验证TR-NTCC的重构性能。
其他文献
随着移动互联网的不断发展,用户通过互联网产生了大量的用户评价数据,例如电子商务中用户对商品给出的评价,这些数据体现了用户对商品的满意(即偏好)程度。充分挖掘用户评价数据中包含的有效信息,并为用户提供个性化的产品、服务具有重要意义。用户评价数据包括评分数据和评论数据,评分数据可以从整体上体现用户偏好,评论数据则可以表达用户对产品不同方面的关注和偏好。近年来,已有许多研究工作利用评价数据进行用户偏好建
在当前经济形势紧张,市场竞争惨烈的情况下,如何更快更好地满足客户需求,是每一个企业必须研究的课题。采煤机零件产品不但价值高、生产周期长,而且专用性很强。为提高客户满意度,采煤机企业需要建立庞大的库存,以满足客户的不时之需。然而,单纯依据零件历年的平均使用量建立的库存是盲目的、不科学的,容易出现备库不足或者库存积压等情况。本文依据TD公司生产计划工作需要,对采煤机行走轮需求进行预测并制定订购决策,以
图像风格化技术是计算机图形学的一个分支,早在二十年前,就有不少研究者对风格化绘制进行了探索,图像风格化主要利用算法赋予一张图像特定风格,使其具有某种风格的艺术感。数字点画作为流行的图像风格化技术之一,具有极大的吸引力。目前针对点画的大部分工作都集中在黑白点画上,存在色调单一,视觉合理性不足等问题。而彩色点画是一种多类别采样问题,其计算成本较大。论文解决了现有方法中生成彩色点画耗时的算法,包括以下三
【目的】盘状结构域受体1(DDR1)是酪氨酸激酶(RTKs)家族的跨膜胶原受体,在上皮细胞中被胶原激活。在肝脏发生纤维化的情况下,DDR1可通过机械重组重建胶原排列。同时,在胶原结合的作用激活下,DDR1发生裂解,随后大量胞外端脱落到血液中。纤维化的肝细胞周围细胞外基质中有大量胶原沉积,由此激活脱落的胞外端DDR1作为细胞外脱落的产物是否可以在血清中检测到,并且作为血清标志物来诊断和肝评估纤维化尚
信息时代的一大重要特征就是数据的爆炸式增长,这使得通过一次性的数据载入进单个超级计算机或者工作站从而进行处理和提取有用的变得越来越困难。如今,越来越多的分布式存储和计算架构,如Hive,HBase,Hadoop,Spark等,得到了企业界的青睐并逐步地投入实际生产中且已产生巨大的效益。与此同时,基于数据流的处理方案,在多个方面占据优势,例如仅仅只需在整个数据集上的一次遍历,对本级计算机的低要求以及
金属-有机框架化合物(Metal organic frameworks,MOFs)是一种新型的由金属离子和有机配体组成的有机-无机杂化材料。自发现以来,MOFs材料由于其具有丰富的功能点位、结构可设计性强、对外界的刺激敏感的性质,从而在离子传感、气体吸附及贮存、发光、磁性、生物医药等领域有着非常巨大的应用前景。由于稀土离子具有较高的色纯度、可见光发射、较大的斯托克斯位移和发光寿命相对较长的f-f跃
近年来,异构系统硬件飞速发展,如何更高效的开发面向异构众核平台的并行程序成为制约异构系统发展的关键因素之一。我国自主研发的超级计算机“神威·太湖之光”采用国产众核
数据表明,约40%的液压泵马达成本源于其铸造类零件,因此对铸造类零件的本地化成为制造业跨国公司降本增益的关注点之一。作为某跨国公司在中国液压行业的一个小分支的X公司,面临近年来经济萎靡、行业竞争加剧等多重不利因素,迫切需要尽快实现其所生产的十几种液压产品、涉及几百个铸造类零件的本地化采购。根据历年来X公司铸造类零件本地化的数据,其项目进度延迟已成常态。究其原因,主要还是项目进度计划不符合项目实际从
嵌入式系统已经深入到人们日常生活中的各个领域,面对越来越复杂的嵌入式应用需求,在嵌入式领域的一些特殊应用场合,给嵌入式系统提出了更高的要求。针对需要在线维护更新、不宕机修复异常程序、安全高效的嵌入式系统现实需求,出现了一种基于Forth虚拟机的嵌入式多任务操作系统。系统采用基于F orth虚拟机的已知调度时机和调度点的协同式多任务调度算法,基于Forth虚拟机的抽象,使得任务上下文切换精简到只需要
本文拟从武侠、狐鬼、爱情——林纾小说的三大主题入手,探究中国古代文学传统与翻译实践在林纾小说创作中起到了怎样的作用。林纾的武侠书写以辛亥革命为界线,分为前后两个阶段。民国以前创作的《技击余闻》重“武”轻“侠”,之所以呈现这样独特的面貌:从创作背景来说,迎合了晚清的“尚武”风潮;从创作动机来说,受其翻译的《剑底鸳鸯》等小说的启发;从作品形态来说,则继承了段成式《酉阳杂俎》的创作精神。民国期间创作的武