副本放置策略的确定性构造研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:w00003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着经济社会的发展,数据规模不断扩大,海量数据被存放在存储系统中。但是在大型存储系统中,发生节点故障是十分正常的现象而并非异常。为了应对节点故障导致的数据丢失问题,存储系统一般会采用数据冗余机制,以牺牲存储利用率为代价,获得更好的系统可靠性与数据可用性。数据冗余机制包括纠删码机制与备份机制两种。其中备份机制将每个数据块复制多份副本,并将这些副本分别存储在不同的节点中。备份机制的一个重要研究方向是副本放置策略,即如何为每个数据块指定存储节点的策略。常见的副本放置策略有随机放置策略、拷贝集副本放置策略、分层放置策略等。其中,拷贝集副本放置策略是一种通用的副本放置策略,相比之前的策略,它在数据分散的节点数量和数据丢失概率之间提供了一种近乎最优的折中。然而,拷贝集策略通过搜索试错算法来构建拷贝集(存储了某一个数据块所有副本的存储节点组),因此很难预测该策略所需的时间和结束条件,这极大的影响了算法的性能,甚至会导致算法不可用。在本文中,我们提出了两种副本放置策略。(1)基于拷贝集策略的确定性副本放置策略,它直接给出了在线性时间内构建拷贝集的方法步骤,避免了原始拷贝集策略采用搜索试错算法而带来的构建时间长与没有明确结束条件问题。并且保持了和原始拷贝集策略同样的数据丢失概率。(2)G-Scheme副本放置策略。它也是确定性的副本放置策略,同样可以在线性时间内完成拷贝集构建。当参数满足(N,R,S)=(l(l-1)/2,l-1,2(l-2))时,我们证明了 G-Scheme策略构建了最少数量的拷贝集,从而达到理论上最低的数据丢失概率。特别地,G-Scheme策略可以生成拷贝集副本放置策略无法生成的最优结果。最后,我们还对HDFS随机放置策略、拷贝集副本放置策略、分层副本放置策略、基于拷贝集策略的确定性副本放置策略、G-Scheme副本放置策略进行比较并分别分析了它们的优缺点。
其他文献
第五代移动通信(5G)时代的全面到来,使人们对于高速移动无线网络的需求与日俱增。与此同时,随着物联网的蓬勃发展和智能终端普及应用,信息的多跳中继传输十分普遍,信息存在被
随着城市化进程的不断推进,功能多元的公共建筑场所日渐成为人们开展活动的首选,这同样为日常的消防安全管理与火灾等突发应急情况下的人群疏散带来了巨大的挑战。因此,管理
吉林油田木126区块平面注采矛盾突出、剖面动用差异大,以现有注采井网及小层动用状态,难以有效动用剩余储量;随着含水的急剧上升和井况的日益恶化,油藏最终水驱采收率甚至难
拓扑可视化是矢量场可视化的重要研究内容,其主要研究奇异点,周期轨道和分离线/面。分离线/面是由周期轨道和奇异点共同决定的;奇异点是矢量场的局部特征,其研究进展已相对成
不锈钢结构因具有耐腐蚀、高强度、耐高温等优点广泛应用在建筑工程、航空航天、能源设施等领域,其使用过程中会受到热、力复合载荷作用,采用合适的传感器能够及时发现结构存
噪声污染是主要的环境污染之一,想提高人们的生活质量,保障身心健康,进行振动与噪声控制是极为必要的。传统的隔音材料,由于受到质量定理的限制,一般采取增加材料厚度的办法
目前辽河油田难采储量规模较大,面对日益困难的产能建设以及保证辽河油田持续稳产,难采储量的评价工作日趋重要。如何解决难采矛盾,突破难采储量开发瓶颈,提高区块原油产量,
随着经济和科技的发展城市车辆数量不断上涨,智能交通系统开始逐渐应用到人们的日常生活中。现代化城市交通中,视频监控覆盖了大部分的行车区域,基于计算机视觉深度学习的车
随着《国务院关于机关事业单位工作人员养老保险制度改革的决定》(国发[2015]2号)的颁布实施,职业年金制度就成为了机关事业单位工作人员养老保险的重要组成部分。职业年金制
Massive MIMO(Massive Multiple Input Multiple Output)大规模多输入多输出技术是4.5G和5G现代移动通信系统中的关键技术,它基于空间分集和空间复用的基本原理,来大幅度提高