基于swift校园云存储及其去重系统设计与实现

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:liongliong476
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面对快速增加的数据量,如何存储管理数据、如何保证数据的安全可靠成为数据拥有者比较关注的问题。因其可靠性、冗余性、高性价比、伸缩性和底层实现对用户的透明性,基于云的数据存储系统和数据备份系统越来越受到人们的青睐。面对大量云用户的存储需求,结合用户之间以及用户内部数据重复的事实,重复数据删除技术对于优化云存储系统以及云备份系统的底层存储空间越来越重要。本文的主要研究工作如下:   为了存储校园网络环境中的大量数据同时为用户提供随时随地随方式的访问体验,本文基于开源软件swift提出了一个存储容量为32TB的云存储系统(以下简称“校园存储云”),该系统将存储服务以web服务的方式提供给用户,通过多副本机制保证用户数据的安全存储和高效访问,同时支持系统的动态伸缩。   之后,我们将重复数据删除技术引入到校园存储云中,结合PC用户出于数据安全考虑定期对文件系统进行备份的需求,提出了一个对数据元信息敏感的、多层次的、源端去重的云备份系统MMSD。MMSD考虑了PC用户文件系统的元信息特征,综合考虑了不同去重粒度和不同数据指纹计算方法的优缺点,以较少的去重时间和空间开销实现了对文件系统的备份。   最后,我们分析了校园网络中用户存储的数据类型,利用校园存储云实现了一个文件级别的、源端去重的云存储系统dedupe_swiff。该系统的去重对象是校园网络中用户存储的图片、音频、视频等压缩文件,通过文件级别的去重,有效地提高了底层存储空间的利用率,加速了对用户上传请求的响应速度。
其他文献
在全球信息化大潮的推动之下,计算机相关产业一直飞速地发展着,计算机软件业由于系统设计技术和相关开发工具不断创新提高的影响,计算机软件系统规模越来越庞大和复杂,再加上
人脸识别技术是模式识别与人工智能研究领域的重要研究方向,近年来随着技术的不断进步,人脸识别系统的识别性能有了很大的提高,目前已经广泛应用于公安、边防、实时监控以及电子
探井井位论证系统是油田数字化建设的重要组成部分,旨在满足油气田勘探开发业务数据共享、应用集成和研究一体化的需要,提高井位勘探开发成果数据收集、传输、存储、检索、显示
随着我国信息化的建设,网络的应用随之也更加的普遍并且几乎渗透到了社会的每一个角落。但是,网络技术带来便利的同时也带来了许多安全问题。尽管用户可以采用防火墙、入侵检测
完整的车牌字符识别系统(License Plate Character Recognizer,LPCR)包含字符图像预处理、字符特征提取和分类器判决三个阶段。在这三个阶段中,选取何种字符特征和字符识别方法
随着信息技术的迅猛发展,图像处理技术在诸如军事防御、医疗诊断、气象监测等领域发挥着越来越重要的作用。作为一种基本的计算机视觉技术,图像分割是图像处理的关键技术之一
随着智能手机的推广与普及,通信必须依赖运营商提供服务的情况正在逐渐改变。目前,无运营商支持的智能手机通信技术主要有蓝牙、ZigBee、Wi-Fi、IrDA和VoIP。从以上几种技术来
外模式对应于用户级,是与某一应用有关的数据的逻辑表示,用户应用程序根据外模式进行数据操作。在理论上,应用程序开发应该针对外模式,而目前实际上都是针对的逻辑模式,并非
近年来,随着全球定位系统、地理信息系统、卫星数据处理、计算机辅助设计及移动计算等领域的迅速发展,针对移动对象的空间数据查询研究得到了国内外研究者的广泛关注,然而,随着移