论文部分内容阅读
当前全球化的互联网社会带给人们丰富信息的同时,也给带来了管理海量数据的困难。为了高效简介地管理这些海量数据,云存储技术应运而生并蓬勃发展。由于使用广泛和众多厂商跟进,文件同步服务作为个人级别的云存储服务,成为了广大用户信息化时代管理个人数据的一种有效手段,也已成为学术界和工业界研究开发的热点。重复数据删除技术以其能够利用特定应用数据集内数据高度冗余的特性,高效增加存储空间利用率,降低网络带宽消耗,降低企业IT运营成本等特点,成为了优化云存储系统的关键技术之一;而差量同步算法因其检测网络两端数据间的高度重复而避免传输冗余,提高网络带宽利用率,降低同步操作延迟,同样成为优化云存储系统网络传输的热门技术。本文在构建了结构完整、界面清晰,具有高效同步功能的文件同步服务软件基础上,着重研究了重复数据删除技术与差量同步算法。本文工作量和创新点主有以下几个方面:1.参考流行文件同步服务构建模式,与小组一起设计并开发了EaSync文件同步服务软件,并主要完成Client端的设计与同步传输协议的制定。2.提出了S-Rsync差量同步算法,该算法避免了经典的Rsync算法同步前需要请求服务端文件的分块信息步骤,减少了网络带宽,降低了服务器负载,并提出了一种自适应的差量同步策略。3.分析、比较了现有的重复数据删除技术和系统,确定了基于应用感知的源端重复数据删除系统是EaSync客户端可以采用的有效重复数据删除技术。4.提出了DS-dedupe重复数据删除策略,该策略同时结合源端重复数据删除与差量同步传输技术,优化客户端存储空间利用率的同时,进一步将降低网络带宽的消耗,并给出了该策略的详细设计过程和原型系统实现策略。5.实现了S-Rsync算法与DS-dedupe重复数据删除系统,比较了Rsync,S-dedupe在内的多种数据消重策略,并进行了实验测试。实验结果表明,S-Rsync与DS-dedupe技术在EaSync文件同步服务中能够有效的优化存储空间利用率,降低网络带宽消耗和服务器相应延迟。