论文部分内容阅读
面对快速增加的数据量,如何存储管理数据、如何保证数据的安全可靠成为数据拥有者比较关注的问题。因其可靠性、冗余性、高性价比、伸缩性和底层实现对用户的透明性,基于云的数据存储系统和数据备份系统越来越受到人们的青睐。面对大量云用户的存储需求,结合用户之间以及用户内部数据重复的事实,重复数据删除技术对于优化云存储系统以及云备份系统的底层存储空间越来越重要。本文的主要研究工作如下:
为了存储校园网络环境中的大量数据同时为用户提供随时随地随方式的访问体验,本文基于开源软件swift提出了一个存储容量为32TB的云存储系统(以下简称“校园存储云”),该系统将存储服务以web服务的方式提供给用户,通过多副本机制保证用户数据的安全存储和高效访问,同时支持系统的动态伸缩。
之后,我们将重复数据删除技术引入到校园存储云中,结合PC用户出于数据安全考虑定期对文件系统进行备份的需求,提出了一个对数据元信息敏感的、多层次的、源端去重的云备份系统MMSD。MMSD考虑了PC用户文件系统的元信息特征,综合考虑了不同去重粒度和不同数据指纹计算方法的优缺点,以较少的去重时间和空间开销实现了对文件系统的备份。
最后,我们分析了校园网络中用户存储的数据类型,利用校园存储云实现了一个文件级别的、源端去重的云存储系统dedupe_swiff。该系统的去重对象是校园网络中用户存储的图片、音频、视频等压缩文件,通过文件级别的去重,有效地提高了底层存储空间的利用率,加速了对用户上传请求的响应速度。