云网关上重复数据删除的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:whf19
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息时代的发展,海量数据的存储传输成为目前必须解决的一个重要问题。云存储为海量数据的存储提供了很好的解决方案,但是缺乏标准化的云存储应用程序编程接口,极大的限制了云存储的应用。缺乏标准化的云存储应用程序编程接口使云网关成为云存储必不可少的重要组成部分,云网关已经成为应用和云提供商应用程序编程接口之间协议的翻译,但是由于云网关很少支持企业级的其它服务,限制了它的应用范围,目前大部分被用于归档和备份。云网关的问题在于它增加了云存储的复杂性及限制了云存储的性能,所以从性能及简洁性角度来看,它并不适合作为理想的主要应用。针对备份归档文件中的高冗余问题,云网关上设计实现重复数据删除功能,能为云网关与云平台间的通信减少网络带宽同时减小数据在云平台上的存储容量。云网关上的重复数据删除功能的设计与实现主要包括在云网关上对文件分块,将分块文件计算数据指纹,将数据指纹与哈希表中指纹进行比对,丢弃重复数据,将文件信息和非重复的数据分离独立保存在Swift云平台上。通过与不进行重复数据删除的云网关性能对比表明,在云网关上进行重复数据删除对于高冗余数据能够减少76%~91%的重复数据存储容量,节省了70%~86%的网络带宽,提高了云网关的性能,且对云网关的响应开销影响较小。
其他文献
随着科技的发展和人们安全意识的提高,安防技术的迅速发展,视频监控系统广泛地应用于人们的生活中,产生的视频监控数据也越来越多,作为视频监控数据分析技术的基础视频监控数据检
通过采集公共汽车行驶参数,建立优秀驾驶行为分析模型,可以为驾驶司机提供一种优秀驾车的指导方法;优秀驾驶行为分析模型建立是关键,本文通过建立基于先验规则优秀驾驶行为分析模
固态盘(SolidStateDisk,SSD)存储技术最近几年飞速发展,凭借其优异的性能占领了部分市场。但SSD在寿命和成本上仍然与硬盘(HardwareDiskDrive,HDD)有比较大的差距。因此,在消费类市场
高清视频技术的发展,推动了高清视频播放机的普及,随之而来的版权保护问题也越来越严重,网络认证系统ICS(InternetCertificationSystem)是一种基于节目内容的光盘视频版权保护系统
世界各国军队的武器装备情况显示,枪械是使用最广泛的武器,然而对枪械的使用和训练存在各种问题,有必要建立一个虚拟系统辅助枪械训练。虚拟枪械训练系统的开发目的:一是使参加
在信息化的日益显著的今天,数字化信息迅猛增长,人们对存储的需求从容量到速度都不断在提高。在这种背景下,云存储服务诞生并得到迅速的发展,催生了一个云存储时代。与此同时,利用
视频序列在获取和传输的过程中往往会因为一些不可控的因素引入噪声,影响人们的主观视觉质量,也给后续视频序列的进一步处理带来困难。研究去除视频序列的噪声已成为图像处理领
随着移动互联网设备的日益普及,移动设备间的数据同步、保护和信息分享的需求越来越迫切。因此最近几年各大公司纷纷推出个人云存储服务。在实际应用中,同步速度越快,用户数据实
近年来,随着应用需求和信息技术的飞速发展,社会生产和生活越来越离不开各类功能强大的软件。这些结构复杂,代码量庞大的软件,存在大量的缺陷,而忽视条件是其中一种主要表现形式。
在制造物联网生产环境下,各种类型的感知设备用于监控生产过程、流程、对象变化等,从而产生了大量的原始数据。但是这些数据的准确性会受到生产环境、硬件属性、网络技术的影响