论文部分内容阅读
云计算时代,随着网络终端设备的广泛使用以及互联网技术的进一步普及,数据存储与备份技术已经与个人生活及组织的运作息息相关,企业与个人均面临着海量数据的管理难题。云存储及其相关技术的发展给数据存储领域带来了革新。基于云存储的在线存储系统能够向用户提供永久的,存储空间可扩展的,便捷的,价格低廉的数据存储与备份服务。当前国内比较成熟的存储服务产品有金山快盘、华为网盘等。它们都提供了稳定的数据存储、文件同步功能,但也存在一些问题。首先,客户端提供的文件系统监控功能不够完善;其次,文件的数据同步效率在某些情况下较低;此外,有些产品没有提供数据的安全传输功能,也没有提供对多种同步事件的分类数据传输功能;最后,现有产品尚未提供客户端与服务器数据的加密存储功能。支撑数据存储的云存储平台的优化也是提供基于云存储的数据同步存储服务厂商应该努力解决的问题。本文从在线同步存储服务使用者的角度出发,总结了当前同步存储服务产品的主要功能以及存在的一些问题,从需求与问题出发,深入研究了实现基于云存储的文件同步存储系统的关键技术,设计并实现了一种基于hadoop搭建的云存储后台,使用了Rsync同步算法的文件同步存储系统。论文的主要工作包括:分析国内外同类产品的优缺点,明确系统用户的需求;利用开源的jpathwatch类库实时监控系统客户端虚拟磁盘的更新变化,实现了不同类型同步事件的实时触发和通知功能,添加了对文件移动和文件重命名的监控;通过对同步事件的分类,实现了不同事件的分类化处理,特别是文件内容更新和续传事件,设计了一种基于Rsync算法的同步协议来减少通信双方的数据传输量,改进了同步效率;针对不同的同步任务,设计了最佳的数据传输方式,使用HTTPS实现数据的加密传输;使用了基于Hadoop的云存储后台存储数据。本文采用分层模块化的方法对系统进行设计与实现,并且在论文的最后两个章节对系统的功能模块进行了测试与分析,总结了研究成果和系统的可扩展功能,最后展望了下一步工作。