面向个人云存储的缓存机制研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:charmLover
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云存储服务作为云计算的重要内容,是解决海量用户访问海量数据的关键技术。个人云存储作为云存储的典型应用之一,不仅为用户提供了基本的数据存储功能,还提供了文件多端同步、工作协同、多应用汇聚等功能,已经成为一种较为流行的数据服务,但仍面临着用户更高服务质量要求的挑战。论文针对云存储后端分布式文件系统的缓存机制开展研究,为海量用户在海量存储的背景下提供更高效的个人云存储服务。通过分析真实的个人用户访问数据集,综合考虑个人云存储的应用场景,论文发现传统缓存机制中存在低读写比场景下缓存存储空间的利用率问题,以及海量缓存文件场景下缓存替换的执行效率问题,这些问题关系到个人云存储服务的成本与服务质量。针对低读写比场景下缓存存储空间的利用率问题,论文提出了基于动态决策的缓存文件选择策略。该策略通过对频繁访问文件的大小和类型进行在线分析,动态判断请求文件是否应当放入缓存,避免将“只一次访问”的文件放入缓存,并通过文件访问次数和文件访问时间间隔对不满足文件大小、类型的频繁文件进行弥补,降低项误判的可能性。实验证明,基于动态决策的缓存文件选择策略可以显著提高缓存空间的利用率,在维持缓存容量的低成本条件下,提升缓存命中率,且决策时间较低。针对海量缓存文件场景下缓存替换的执行效率问题,论文提出了基于分代技术的缓存文件更新策略。该策略被设计实现为一种功能框架,可应用不同的缓存替换算法,在保持原有缓存替换策略特性的同时,为缓存对象增加生命周期管理功能,并通过更新缓存对象的生命周期,缩小缓存替换执行的范围。实验证明,基于分代技术的缓存文件更新策略可以有效提高缓存替换效率,解决“缓存污染”问题,且灵活可配,适合用户使用场景多样化的个人云存储系统。最后,论文在为开源分布式文件系统HDFS实现缓存模块的基础上,将以上两种缓存策略应用到HDFS中,从而优化个人云存储系统使用HDFS作为后端存储时的系统性能,并在实际运行中取得了较好的效果。
其他文献
在当今信息化时代,破除壁垒、实现信息融合共享是时代的主流。本文基于遥感影像数据信息融合和共享的目的,设计并实现一种基于NOSQL的遥感影像数据管理与分析系统。该系统目
人体皮肤实时渲染技术是当前计算机领域的一个重要课题。皮肤是一种多层透明/半透明材质,对其渲染难点是建立皮肤的次表面散射效果模型。 已有的针对于多层透明/半透明材质
随着无线通信、电子和微机系统等技术的发展和日益成熟,使得无线传感器网络在全世界范围内得到广泛应用。传感器网络在军事、环境监测、医疗、工业生产等领域有着广泛的应用
学位
操作系统的安全特性从操作系统诞生之日就成为研究人员关注的焦点,如何构建一个安全的操作系统正是当前安全研究的热点课题。通过访问控制对系统进行加固,能够有效地增强操作
科里奥利质量流量计由于其精度高、测量流体范围广、可做多参数测量等优点,在工业上获得了广泛的运用。它通常由一次仪表和二次仪表组成。一次仪表部分包括振动管、激振器和传感器等。二次仪表的任务是对传感器的输出信号进行处理,通过测量其相位差的大小来计算流量。早期的科氏流量计的信号处理主要采用模拟电路,但是模拟信号处理系统存在很多缺点,本课题采用数字信号处理方法来处理科氏流量计信号。本文模拟实际环境提出合理的
随着互联网的迅速发展,面对这样一个全球最大的信息资源宝库,搜索引擎为人们提供了获取信息的入口,得到了极大的流行。但由于Web多元化信息的指数级增长和人们需求的多样化,
随着网络技术的快速发展,WEB服务已经成为网络互操作最合理的解决方案。WEB服务改变了传统的WEB应用模式,通过标准的接口、完善的服务描述以及WEB服务的平台无关性等使得WEB
目前,植入式电子设备的广泛应用,给医疗行业在诊断治疗疾病方面带来了空前的进步。之前,很难治愈甚至无法治愈的疾病,因为植入式电子设备的广泛使用而被攻破。为了保证植入式
BP(Back Propagation)神经网络是目前最重要的神经网络之一,其结构简单、工作时状态稳定、并且易于硬件实现,被广泛应用于模式识别、分类预测、系统仿真和图像处理等诸多领域