一种基于云存储的数据同步机制的改进与实现

来源 :湖北大学 | 被引量 : 0次 | 上传用户:abing206
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据产生速度的不断提高,以及云计算的快速发展,各种云计算平台和应用产品对信息存储的要求越来越高,数据更新也越来越频繁,人们对数据同步的需求也在不断的增加。在云存储环境中,网络带宽仍然是稀缺资源,因此研究高效的数据同步算法非常有必要,以尽可能地减少网络数据传输量。好的同步算法就是指在同步的过程中需要尽可能的克服网络传输的瓶颈,既能较快的同步远端数据又尽可能少的传输数据量,减小网络带宽的消耗,实现更高效率的数据同步。远程文件同步技术可以使远程主机中的数据保持一致,此项技术目前已经广泛用于实现远程文件备份和更新。当文件更新时,可以将文件同步到备份中心,保证了数据的有效性和安全性。但大部分文件更新时数据变化量很小,如果重新备份,需要大量的网络传输量,因此出现了文件差异同步算法,将更新的文件差异同步到备份中心,能够有效的减少网络传输数据,节省网络流量。目前,基于差异的文件同步算法主要有Rsync和RDC,其中Rsync是目前应用最广泛的远程文件同步算法,Rsync算法在远程文件同步中扮演着一个非常重要的角色,它以开源、差异传输、网络负载低等特性被应用在众多领域。本文根据云存储平台中的文件同步需求,以降低同步产生的网络通信量且提高数据同步效率为目的,重点研究Rsync算法在远程文件同步机制中的应用,文章所做的主要工作有:1.文章着重讨论了本机制使用的经典的远程文件同步的Rsync算法,介绍了 Rsync算法的基本原理、分析了该算法的性能以及在文件同步中的应用;介绍了多线程技术以及该技术在数据同步机制中的应用。2.完成对数据同步机制的研究和实现,并对该机制进行了两个方面的改进。一方面,用并行化的方法将大的数据段分成多段,采用多线程的方式分别对每一段数据段求取指纹,实现通过多线程并行化求取指纹的效果,从而减少指纹的生成时间,提高系统的同步效率;另一方面,针对Rsync算法中增量表过大的问题进行了改进,对增量表中的差异数据先进行一次压缩再传输,进一步减少同步过程中的数据传输量,从而使得网络中传递更少的数据,实现更高效、快速的数据同步。3.对优化后的数据同步机制进行性能测试,对数据同步机制优化前后的性能进行对比,分析测试结果,根据实验结果对数据同步机制的性能进行分析和总结。实验结果表明本论文的优化方法对数据同步机制的效率有一定的提升作用。
其他文献
计算机图形技术的发展,为动画片制作提供了快捷方便的条件。传统手绘动画制作和其他动画制作方式并行发展,形成了既独特又交叉的艺术形式。文章从逐格描绘动画短片创作基本流
通过对热板温度、加弹速度、拉伸比、D/Y比、假捻张力等工艺参数的调整,探讨了影响锦纶6弹力丝生产的主要因素.
研究目的:探究雷帕霉素靶蛋白(mTOR)通路调控调节性T(Treg)细胞在IgG4相关性疾病(IgG4-RD)发病机制中的作用和不同血清IgG4水平患者的临床特征及预后特点。方法:第一部分:收集就诊于北京协和医院的初治和治疗稳定的IgG4-RD患者的外周血,并收集性别年龄相匹配的健康对照(HC)外周血,分离外周血单个核细胞(PMBC),采用流式方法检测Treg细胞及其TGFβ1和IL-10的表达百
森林是我们重要的自然资源之一,对森林进行经营分类,是保护森林利用森林的重要手段。文章总结了森林经营分类的基本情况和基本原则,对影响到森林经营分类的基本因素进行了分
<正>在建材行业飞速发展的今天,我国仍将处于持续大规模的建设阶段。据近年相关统计数据表明:全国水泥年消费总量已接近20亿吨,混凝土及其制品行业的产业规模突破了1万亿元大
冈底斯是我国重要的斑岩型铜矿带,东段已发现一系列大型-超大型斑岩矿床且研究程度较高,而西段仅发现朱诺一例大型斑岩铜矿床,且研究程度较低,这不利于冈底斯东西段的对比研
[目的]建立复方薄荷乳膏中樟脑和薄荷脑的气相色谱含量测定方法。[方法]采用毛细管气相色谱法,以水杨酸甲酯为内标,采用DB-1弹性石英毛细管柱(30m&#215;0.25mm,0.25μm),MSD检
目的探讨腹腔镜下子宫肌瘤剔除术治疗对患者卵巢功能、血清疼痛指标及氧化损伤指标的影响。方法 98例子宫肿瘤患者中,以腹腔镜下子宫肌瘤剔除术治疗者为治疗组(49例);以开腹子
小型混凝土预制构件一直被认为是“面子”工程,不论是从外观质量、线型要求的控制都是高标准、严要求.很多小型混凝土预制构件在预制的过程中往往出现外观缺陷,如蜂窝麻面、
本刊讯(记者刘瑞峰)经过紧锣密鼓的筹备,3月25日下午,河南省秘书协会常务理事会议在省政协第一会议室召开。会议通过表决,增选李中央为会长,余 Our correspondent (Reporter