谷歌文件系统下一种基于实用网络编码的方法

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:lixuhai88888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着要管理数据量不断增长,分布式存储系统为通过网络分布式存储节点存放大量的数据提供一个可靠的平台。确保数据的可靠性,对抗存储节点故障,需要引进的冗余。维护所需的冗余,系统必须支持数据恢复(或修理),其中包括从现有节点读取数据,并在新的节点重建基本数据。基于复制的策略是许多大型存储系统用来产生冗余的最简单的方法。擦除编码是另一个冗余的方法。也有再生的代码,分布式存储系统中一个基于网络编码的数据快速恢复策略的擦除编码。当一个存储节点出现故障时,它要从其他存储了部分数据的节点下载整个文件,然后重新编码数据修复。因此,恢复只存储整个信息部分数据的节点但下载了整个信息,所需的带宽是浪费。这项研究工作提供了一个实用的网络谷歌文件系统的编码方法。这种方法采用网络编码来为谷歌文件系统提供冗余,与以复制方式提供冗余进行比较。我们研究在两种情况下的性能,评估任何块失败的概率,从任何尚存的数据块恢复原始数据的能力;计算客户端读取数据时的重传次数以及平均带宽。我们观察到基于网络编码的系统更健壮,更适应文件出错,可以提供比复制策略更好的性能。
其他文献
变压器在电力系统中的地位举足轻重,其运行的安全可靠性直接关系到电力系统的安全与稳定。由于定期维修存在维修不足或维修过剩的缺陷,状态维修已成为电力变压器检修方式发展的必然趋势,受到了国内外电力工作者的普遍关注,如何科学有效地利用现有变压器的状态信息准确判断变压器的健康状况成为电力系统中的一个重要研究课题。为及时、高效、准确的开展变压器的状态评估工作,应通过网络化的管理信息系统对各类状态信息进行收集、
提高频带利用率是无线移动通信技术的研究重点。网络编码技术是被证明了的可以大大提升网络吞吐量的新兴技术,由S.Katti等提出的基于机会的网络编码方法(COPE)首次在实验床下
机载数据采集系统负责对飞行试验测试数据的采集、传输、处理与存储,是进行飞行测试与试航认证的的关键设备。随着通信网络技术在航空领域中的广泛应用,新型飞机、大型飞机的
网络编码可以提高网络容量或传输可靠性。多输入多输出(MIMO)技术可以有效抵抗无线通信中多径衰落的影响,在提高无线通信系统的容量和可靠性方面,有着广阔的应用前景,但是无
随着科技的进步和大众对生活品质的不断追求,记录真实三维世界的立体电影备受瞩目。三维电影给观众带来了前所未有的视觉冲击和丰盛的视觉享受,但同时也引发了新的问题——视觉
多址接入控制(MAC, Media Access Control)协议是Ad Hoc网络的重要组成部分,它直接影响着整个网络的性能。随着研究人员对通信领域的不断探索,多种新技术不断被提出。作为最
柔性制造系统中共享资源的分配不当是死锁产生的主要原因。一旦出现死锁,系统生产就会出现停顿,从而导致昂贵设备的生产率低下,造成生产企业的经济损失,有时候甚至会造成灾难性的后果。有效处理系统的死锁问题是保证制造系统获得高生产率的前提条件,因此,寻找有效的方法来预防和控制柔性制造系统中的死锁已经成为近年来研究的热点。Petri网是一种重要的建模工具,能够描述资源共享、互斥、并发和冲突等,而且在计算方面也
随着光纤通信技术的发展,可调谐光纤激光器因为其可调谐,窄线宽,良好的光束质量,高耦合率,兼容性好,成本低,稳定性好等优点,在光纤通信、传感技术和医疗领域的应用已十分广泛。目前,可
分簇算法和路由协议是无线传感器网络的关键技术。由于传感器网络自身的限制,如何降低能量消耗成为了设计分簇算法和路由协议的关键问题。针对这一问题,本文在低能耗路由协议
由于多输入多输出(MIMO)技术可用来获得复用增益和分集增益,因而可以提高数据传输速率和改善差错性能。作为MIMO系统的关键编码技术,空时编码(STC)可提供发射分集,因而在不增