基于Hadoop的文件同步存储系统的设计与实现

被引量 : 19次 | 上传用户:songfenhao3
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算时代,随着网络终端设备的广泛使用以及互联网技术的进一步普及,数据存储与备份技术已经与个人生活及组织的运作息息相关,企业与个人均面临着海量数据的管理难题。云存储及其相关技术的发展给数据存储领域带来了革新。基于云存储的在线存储系统能够向用户提供永久的,存储空间可扩展的,便捷的,价格低廉的数据存储与备份服务。当前国内比较成熟的存储服务产品有金山快盘、华为网盘等。它们都提供了稳定的数据存储、文件同步功能,但也存在一些问题。首先,客户端提供的文件系统监控功能不够完善;其次,文件的数据同步效率在某些情况下较低;此外,有些产品没有提供数据的安全传输功能,也没有提供对多种同步事件的分类数据传输功能;最后,现有产品尚未提供客户端与服务器数据的加密存储功能。支撑数据存储的云存储平台的优化也是提供基于云存储的数据同步存储服务厂商应该努力解决的问题。本文从在线同步存储服务使用者的角度出发,总结了当前同步存储服务产品的主要功能以及存在的一些问题,从需求与问题出发,深入研究了实现基于云存储的文件同步存储系统的关键技术,设计并实现了一种基于hadoop搭建的云存储后台,使用了Rsync同步算法的文件同步存储系统。论文的主要工作包括:分析国内外同类产品的优缺点,明确系统用户的需求;利用开源的jpathwatch类库实时监控系统客户端虚拟磁盘的更新变化,实现了不同类型同步事件的实时触发和通知功能,添加了对文件移动和文件重命名的监控;通过对同步事件的分类,实现了不同事件的分类化处理,特别是文件内容更新和续传事件,设计了一种基于Rsync算法的同步协议来减少通信双方的数据传输量,改进了同步效率;针对不同的同步任务,设计了最佳的数据传输方式,使用HTTPS实现数据的加密传输;使用了基于Hadoop的云存储后台存储数据。本文采用分层模块化的方法对系统进行设计与实现,并且在论文的最后两个章节对系统的功能模块进行了测试与分析,总结了研究成果和系统的可扩展功能,最后展望了下一步工作。
其他文献
便携式维修辅助设备能够为用户提供电子技术手册、语音通话、拍照等功能,使得维修人员通过无线网络与维修服务中心进行通信,获得远程技术支持。根据民航维修的需求,结合嵌入式技
<正>目前饰品"销售热"由沿海地区向内地推进,由城市向农村发展。饰品加工是劳动密集型产业,需要大量的劳动力。我国沿海地区是国内最早开发饰品的地区,近年来由于厂房占
期刊
尾矿坝地震液化对安全运行有着重要的影响。根据尾矿坝的自身特点,以影响尾矿坝地震液化的影响因素作为初步判别条件,当初判满足液化条件时,推荐采用规范中的简化判别法或有
目的考察夏佛塔苷对高脂饮食诱导C57BL/6小鼠胆囊胆固醇结石形成的影响。方法将72只雄性C57BL/6小鼠随机分成正常对照组,模型组,熊去氧胆酸组,夏佛塔苷低、中、高剂量组(20,4
装载机动臂下降或铲斗卸料时运行速度会逐渐加快,故需设置背压阀以使速度平稳。背压阀在动臂提升时能耗较大,为此设计一款液控背压阀,在动臂提升时自动打开,以降低能耗,并对
<正>佛山市顺德区伍仲佩纪念医院暨佛山市顺德区精神卫生中心,始建于1958年,前身为"顺德市凤山医院",是一所以精神医学为主的公立专科医院。承担精神(心理)疾病的预防、诊疗
传统草编工艺品是我国劳动人民在长达数千年的生产和生活中创造出来的,在满足大众日常生活使用功能之外,还作为满足大众文化需求的物质载体流传下来,在源远流长的中国传统手
近年来,随着GPS卫星导航技术的快速而迅猛的发展,导航技术的应用和需求变得越来越多。在这样的环境下,卫星导航终端设备的研究也越来越受到人们的重视。为了能够快速和准确的开
目的:比较额肌瓣悬吊术与提上睑肌缩短术治疗重度上睑下垂患儿的临床疗效。方法:选取2015年5月-2018年5月笔者医院收治的重度上睑下垂患儿104例(157眼),根据手术方式的不同将
体操活动是我国都非常熟悉的一项运动,深受世界人民的喜爱,体操活动以其独特的运动方式,能够促进人身体素质的提高,促进肢体协调发展,所以在幼儿阶段引导幼儿有效的进行篮球