云存储网关的分布式缓存系统的研究与实现

被引量 : 0次 | 上传用户:mokung1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet技术的飞速发展,各行各业产生的数据急剧膨胀。传统的海量信息存储系统可扩展性差,只能通过设备升级来实现纵向扩展,导致了管理和运营成本提高。以分布式文件系统为核心的云存储系统在存储容量、可扩展性、可靠性方面表现出了特有的优势,在海量数据存储领域的应用越来越广泛。但主流的云存储系统没有统一的接口,现有的建立在不同系统之上的应用无法直接访问这些系统,且很难实现快速迁移。此外,云存储的数据安全问题也是用户关注的核心问题。为了满足现有应用到云存储平台的快速迁移和数据安全的需求,课题组设计了云存储网关JoinIn。JoinIn将后端的云存储系统抽象为传统的文件系统,提供标准的POSIX接口供用户使用。JoinIn的元数据服务器位于局域网,访问安全受控,数据存储于后端云存储系统。本课题针对由于云存储架构导致的数据访问延迟大、吞吐率低等问题,对云存储网关JoinIn的分布式缓存系统进行了研究和实现。JoinIn缓存系统的主要设计思想是,运用缓存“取一次,读多次”的关键思想,利用访问的局部性,将用户访问频率高的内容保存到离用户较近的缓存系统中,当用户再次访问这些数据时,就可以从缓存中快速获取,这样就避免了和后端云存储系统的交互,降低了数据的传输延迟、缓解了后端服务器的负载、节省了带宽。本文的主要工作和创新包括:1)提出了云存储网关JoinIn的缓存系统的体系结构,针对内存缓存容量有限和易失的特点,提出了内存和磁盘组成的两级缓存结构,增大了缓存容量,实现了缓存内容的持久化存储。2)提出了云存储网关JoinIn的缓存系统的替换算法——JoinIn_LRU算法,针对经典的LRU算法没有考虑访问次数的不足,在LRU基础上,提出了综合考虑访问时间间隔和访问次数的算法。3)设计和实现了基于虚拟节点的一致性哈希缓存集群架构:考虑单节点缓存系统的扩展性,在深入研究一致性哈希算法的基础上,设计实现了分布式缓存集群架构。本课题搭建了测试环境,对系统进行完整的功能测试和性能测试,实验结果表明,带有缓存系统的云存储系统,读性能得到了大幅度提高。因此,本文设计的缓存系统是提高云存储系统使用体验的有效手段。
其他文献
煤中的金属元素对其工业应用及环境有着重大影响,研究其含量分布规律、赋存状态,对于正确评价煤中金属元素对煤工业应用的正负效应,预防煤中有害微量金属元素对环境产生的不
目的:探讨新生儿破伤风的救治及护理体会。方法:总结29例新生儿的破伤风护理经验,包括控制痉挛,控制、预防感染,严密观察病情,重视基础护理,保持呼吸道通畅,建立静脉通道,营
近年来,随着计算机技术的发展,尤其是现场可编程门阵列FPGA的出现,使实时电路重构成为研究热点。基于FPGA的重构系统具有自适应、自主修复特性,在空间应用中具有非常重要的作
高校培养的大学生是既具有丰富的理论知识同时也具有实践经验的综合性人才,大学生未来要投入到社会主义现代化建设当中,因此大学生的思想道德素养直接关系到我国社会主义现代
氯酚作为一种环境优先控制污染物,目前处理氯酚的有效方法是活性炭吸附。本文综述了各种活性炭对氯酚的吸附研究。通过这些研究表明:除了传统商用活性炭外,利用各种废弃物制
电力是经济社会发展最重要的基础设施和公共事业之一,电力系统的经济稳定安全运行是人民生产生活的重要保障。随着传统工业及高新技术的发展,大功率、非线性、高灵敏度电力器件
用溶胶-凝胶技术在紫铜表面制备含电气石矿物粉末的TiO2复合薄膜,研究薄膜的制备方法、显微结构及其光催化活性。用SEM技术研究电气石-TiO2复合薄膜的微观结构和电气石表面Ti
以创新理念提出一个在企业资源计划(ERP)系统中使用客户关系资源管理子系统和供需资源管理子系统进行供应链管理的设计方案。该方案独立有特色、适用的供应链业务管理流程面
《欧美小说丛谈》于1913-1914年在《小说月报》连载,它为我们展示了民国初年,中国学人对世界文学图景的初步构建。《丛谈》既是一部初具比较文学性质的研究专著,又是一部能够
<正> 目前本市郊区各县均用630-C火焰光度计测定土壤钾素,操作简便、安全、计算准确。现将三种钾的测定步骤介绍如下: (一)速效钾:配制1N中性醋酸铵(NH4AC)作提取剂。纯醋酸铵77.