分布式存储系统中读写均匀的数据分布研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:youngw258
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了应对日渐增长的数据规模和存储集群规模以及对数据读写越来越严格的性能要求,分布式存储系统在数据存储业界得到了日渐广泛的应用。在分布式存储系统中,为了使数据获得更好的可用性,对数据进行冗余是很有必要的。副本是一种常用的冗余方式,在规模较大的系统中,由于数据体量是极为庞大的,如果不使用合理高效的算法对数据副本进行放置,将会对整个系统造成极大的性能损失。在分布式存储系统中,目前应用较为广泛的数据分布算法包括crush算法以及kinesis算法等。crush算法旨在存储集群发生变化时获得最少的数据移动,而kinesis算法旨在在相对灵活的存储位置选择下,使系统的资源使用更加均匀。但是这些现有的数据分布算法都没有关注读写均匀问题,对读写均匀关注的缺失导致集群中的节点之间在故障恢复和数据迁移过程中出现负载不均,从而增加花费的时间。因此,我们针对上述的问题展开研究,目标旨在在分布式存储系统中,找到一种可以满足读写均匀特性的数据分布方法,保证在同一节点上不会放置相同数据的多个副本,并且可以随着集群的动态扩展进行数据副本的自动调整,保持数据的读写均匀特性。针对crush算法存在的问题,我们提出了一种新的数据分布方法。注重于在分布式存储系统中达成数据副本的读写均匀,同时可以应对集群的动态变化和扩展,由于数据分布具有读写均匀的特性,因此降低了集群发生变化时的数据迁移时间。本文的主要工作总结如下:首先通过实验发现了现在分布式存储系统中常用的数据分布算法如crush算法等,其数据分布存在读写不均的问题。从这一问题入手,说明了数据分布的读写不均会增加系统的重建时间,从而导致节点二次故障乃至数据永久丢失的可能,同时,系统长期处于重建状态会抢占外部应用程序的运行资源。从而论证了读写均匀对于系统整体的重要性,并提出了我们的研究目标。针对crush算法存在的数据分布问题进行研究,通过数学分析和理论验证等手段,提出了一种满足读写均匀标准的数据布局方法,通过将数据及其副本按照指定方式进行分配,实现了数据分布读写均匀度的显著提高。在我们提出的数据布局方法中,数据按照到达存储系统的先后顺序进行标记,将数据的读写均匀分布总结归纳为矩阵中的一种特殊数学分布,这种数学分布是简单且易于计算的。元数据服务器根据读写均匀的数学分布进行数据到达存储系统后的副本分配。在系统由于节点增减而发生动态变化时,利用多选范式原理进行数据重建的最优位置选择,并可以根据不同的系统需求为不同的节点设置不同的权重或灵活部署。并提出了一种独立的针对节点增加时的数据迁移策略,以保持集群动态变化后数据分布依然满足读写均匀特性。通过理论分析以及模拟实验对比来验证我们提出的方法存在的优势。我们的实验和分析表明,在基于NS2模拟器的虚拟集群中,我们提出的方法相比现有的crush算法,显著提高了数据的读写均匀度(平均情况下提升约50%左右),因而将出现故障的重建时间降低了约14%,同时保持了相对一致的集群性能消耗。
其他文献
针对天津滨海地区围海造陆工程所形成的上软、下硬双层软黏土地基,利用室内载荷试验和数值模拟开展了双层软黏土地基的承载特性及破坏模式研究。研究表明:由于下层沉积土的补
目的:本研究目的旨在利用心脏MRI对淀粉样变性自体干细胞移植(autologous stem cell transplantation,ASCT)治疗人群的筛选标准、联合临床常规危险度分层的、方法对淀粉样变
在许多领域中,尤其是在药物工业领域,获得单一对映体纯的手性化合物是非常必要的。具有光学活性的卤代β-羟基酯和1-苯乙醇衍生物是合成多种手性药物和其他生物活性化合物的
情报学自其诞生之日起便一直将解决信息生产与利用之间的矛盾作为基本任务,具有稳定的学科边界。同时,情报学又是一门新兴的综合性基础学科,不断和其他相关学科相融合,从而在
以长白落叶松叶芽作外值体进行离体培养,经过透导分化和生根,培育出了可用于造林的幼苗。透导芽分化以Z培养基和SH培养基较好,激素组合为BA1.0(单位:mg/L,下同)+HAA0.1,分化率平均55%,最高可达68%左右。诱导再生
<正>发展乡镇企业与农业适度规模经营二者之间有密切联系。首先,发展乡镇企业所需的劳力、资金和原料要由发展农业生产来解决。其次,推行农业适度规模经营需要扩大农户经营土
目的:振动反应成像技术(VRI)是一种新型肺部成像技术,本研究探讨其在慢性阻塞性肺部疾病(简称慢阻肺)中的临床价值。方法:选择2010年11月至2011年10月在新疆医科大学第一附院呼吸
极化合成孔径雷达(Sythetic Aperture Radar,SAR)是一种能够获得地物目标丰富信息的先进主动微波遥感手段。它具备获取地物目标的多通道极化图像,并通过地物目标的极化信息处
随着我国物联网产业的快速发展,大量基于物联网的智能电子设备开始被广泛应用在楼宇建设。其主要是利用物联网技术实现对智能电子设备进行无线控制。目前智能楼宇应用的物联网技术以ZigBee技术和Wi-Fi技术为主,但ZigBee技术易组网难控制,Wi-Fi组网功耗高,用它们单独组网都存在一定弊端。而且随着智能电子设备使用的种类和数量不断增多,又产生了一些新的问题,如智能电子设备数量增多控制繁琐、控制信号被
采用分子动力学方法研究壁面亲疏水不对称的纳米结构通道内流体的流动换热过程,研究了异质壁面浸润性、驱动力和壁面纳米结构对于流体速度滑移和温度阶跃的影响,以及异质壁面