【摘 要】
:
纠删码技术由于其低存储开销的优势,正逐渐取代多副本技术被广泛应用到分布式存储系统中来提供数据可靠性。但它会引入大量的跨机架流量:修复一个丢失的数据块需通过网络从其他节点上读取多个可用块;更新一个数据块会触发对所有校验块的校验更新。过多的跨机架流量会导致系统中包括纠删码在内的多种应用性能下降。为了提升纠删码的性能,许多新的编码方案被提出,试图从根本上减少网络流量,但其缺点是会牺牲其他性能。另一种优化
论文部分内容阅读
纠删码技术由于其低存储开销的优势,正逐渐取代多副本技术被广泛应用到分布式存储系统中来提供数据可靠性。但它会引入大量的跨机架流量:修复一个丢失的数据块需通过网络从其他节点上读取多个可用块;更新一个数据块会触发对所有校验块的校验更新。过多的跨机架流量会导致系统中包括纠删码在内的多种应用性能下降。为了提升纠删码的性能,许多新的编码方案被提出,试图从根本上减少网络流量,但其缺点是会牺牲其他性能。另一种优化途径是不改变纠删码的编码结构,而是通过优化数据传输路径提升纠删码系统的修复和更新性能。这种优化方式可以应用在多种新型纠删码上,通过结合两种优化策略进一步提升性能。但是目前提出的数据传输方案,只关注于解决纠删码性能问题,并没有实际减少纠删码引入的跨机架流量。随着可编程网络设备的兴起,网络计算的概念被提出,其主要思想是将原来位于终端节点上的计算操作移动到网络设备中。受该想法启发,针对纠删码修复和更新操作,分别提出基于异或网络计算的数据传输方案:两种方案的核心思想均是由网络设备执行异或运算,其中在修复操作中,来自不同节点的数据在网络中汇聚,通过利用可编程网络设备对来自不同节点的数据流执行异或运算,然后将计算结果继续转发,从而避免大量端到端的网络传输;在更新操作中,网络设备代替存储节点计算增量,然后通过不同链路发送增量,既缩短了传输路径也消除了网络瓶颈。基于HDFS-RAID和SDN(Software Defined Networking),模拟实现了一个网络计算框架,在该模拟环境下的测试结果显示,基于异或网络计算的传输方案可以使得修复和更新操作达到最优性能。对于修复操作,修复一个块的时间几乎接近于正常读取一个块的时间,并且相比于repair pipelining,可以减少高达41%的网络流量。另外对于更新操作,相比于基于增量的更新方案,可以减少高达74%的更新时间和30%的网络流量。
其他文献
近年来,由于互联网的高速发展,人们可以获取的信息也更加多元化。音频与视频作为一种比文字、图片等更加生动的信息传递媒介逐渐成为人们日常生活与娱乐中不可或缺的信息获取和交流的方式。随着宽带资费的下降和CDN技术的发展,视频直播这类即时视频服务也开始为人们所接受。视频直播相对于普通剪辑与整理过视频的资源,所承载的信息并不密集,但高实时性的特点通常可以使观众在观看过程中更具有参与感。视频直播由于实时性较高
全球供应链网络迅速发展,合作共赢而非对抗竞争的观点深入人心。在这个复杂多元、竞争激烈的市场环境下,企业如何获取新的客户资源以及保持老客户的黏性,对于企业的长远发展至关重要。而内部控制作为一种有效的管理制度,随着中国企业现代化转型升级,变得愈发重要。关于供应链关系和内部控制两大专题,过去几十年来无论在学术界还是实务界,都对此进行了丰富而深入的研究和实践。本文基于前人的研究,试图寻求上市公司的内部控制
农村居民大多居住在我国偏远贫困农村地区。虽然有的农村地区资源丰富,但长期与外界隔绝,城乡信息极其不对称。农村社会治理需要调动农村居民的主体性,让处于弱势地位的农村居民在社会发展中积极行使表达权,提高他们对于社区公共治理活动的参与度,培养和普及权利意识,使其在媒介社会中主动介入到农村自身的建设中来。毋庸置疑,这是一个赋权的过程。在这个阶段中,农村居民媒介素养水平的高低决定了赋权过程的顺利与否。因此,
随着城市化进程的不断加速,基层社会结构由传统的单位制、街居制向社区制转变,社区在城市社会治理中的作用日益突显。在利益需求的多元化,非公有制经济组织、社会组织等大量
背景:长期腹膜透析(腹透)患者有发生腹膜超滤衰竭导致患者退出腹透和发生心血管疾病(cardiovascular disease,CVD)导致患者死亡的风险。内皮细胞与腹膜血管新生从而导致腹膜超滤
随着人工智能、深度学习、计算机技术的快速发展,目标跟踪作为计算机视觉领域的热门研究问题,国内外其他的目标跟踪算法层出不穷。但由于目标跟踪背景的复杂性和目标本身的多变性,比如:背景杂波、目标形变、遮挡等因素,使得设计一种全面、鲁棒的目标跟踪算法仍然是巨大的挑战。其中,基于相关滤波的目标跟踪算法一被提出就备受研究学者的关注,其跟踪速度和精度远远超过其他目标跟踪算法。本文针对相关滤波算法进行深入研究,并
运动目标检测指检测并提取视频中运动目标,是处理视频监控问题的关键。传统的运动目标检测算法难以适应背景中存在的动态变化,如光照、树叶随风而动等,导致提取的前景目标存在大量噪声。而视觉背景提取器(Visual Background Extractor,ViBe)算法采用样本模型能够快速准确的提取前景目标,但是存在提取目标不完整的问题。此外,提取出的前景图像如行人等,涉及到不同视角下图像之间匹配的情况,
随着大数据的快速发展,互联网上的信息爆炸性增长,而资料显示网络上大部分数据都是小文件数据。传统文件系统缺乏对小文件元数据存储的优化,而基于日志结构合并树(LSM-Tree)的键值存储系统能够整合文件元数据,极大地提高小文件存储的效率,然而也会给系统的随机读和范围读操作带来一定程度的读放大,产生性能损耗。为了解决基于键值存储的文件系统的以上性能问题,本文提出了一种基于键值存储的新型文件系统KVFS(
目的观察柴胡桂枝干姜汤加减治疗肝郁脾寒型桥本氏甲状腺炎甲减期患者的临床疗效,并探讨其作用机制,以期为临床诊疗提供新的思路和方法。方法将临床上符合诊断及纳入标准的全部入选病例随机分为对照组和治疗组,每组病例数为35例,对照组:在基础治疗的基础上,根据患者血清甲状腺激素的水平,予以左甲状腺素钠片;治疗组在对照组治疗的基础上,加用柴桂干姜汤加减。该试验中,设置1个疗程时间为1个月,并连续跟进3个疗程。观