分布式文件系统中基于非易失存储器的缓存子系统

来源 :江苏大学 | 被引量 : 0次 | 上传用户:zua263net
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,需要存储和管理的数据越来越多,作为存储系统重要支撑之一的分布式文件系统将面临更严峻的挑战。缓存机制是提高分布式文件系统性能的重要手段。本文以分布式文件系统中新型缓存子系统为研究对象,主要工作如下:   首先针对SAN环境下的分布式文件系统和清华大学高性能计算技术实验室研发的面向Flash对象存储系统,引入新型非易失存储器,设计了基于非易失存储器新型缓存子系统的结构,阐述了各功能模块的作用。   其次,针对分布式文件系统关闭文件时需要同步数据和元数据对性能的影响,提出了基于非易失存储器的客户端缓存机制。设计了基于非易失缓存的写流程,将数据和元数据缓存在非易失存储器上,在提高性能的同时避免数据和元数据丢失。设计了自适应缓存写回策略,通过动态调整写线程的数量,防止出现瓶颈。设计了基于报文合并的通信策略,减少通信对性能的影响。并在pNFS的基础上实现了原型系统,使用通用测试工具filebench应用fileserver与varmail负载,以及postmark设置5000、10000、30000和50000事务负载进行了测试,验证了基于非易失存储器的客户端缓存机制能提高分布式文件系统7%-1倍的I/O性能和1倍以上的事务处理速度。   最后,针对SSD中现有缓存资源紧缺、缺失文件系统语义以及Flash读写速度不对称和擦写次数有限等问题,提出了面向Flash的存储设备缓存机制。在文件系统层实现SSD的缓存,引入基于对象的缓存管理方式,给出了基于对象SSD缓存的结构,设计了基于扩展空间的缓存管理策略、数据与元数据关联管理方式,缓存主动调度策略,给出了基于对象缓存的访问流程。在面向Flash的对象存储系统中实现了原型系统,重放了TPC-C、Iphoto、Ipages、Seer四种负载的trace,设置不同的缓存大小,统计块设备发往Flash的bio请求数以及bio请求的平均大小,验证了该缓存能够减小55%-95%的bio请求数,bio的平均大小是原来的3.5-25倍之间。
其他文献
物联网被称为继计算机、互联网之后,世界信息产业的第三次浪潮。它的定义是通过射频识别(RFID)、红外感应器、全球定位系统(GPS)、激光扫描器等信息传感设备,按约定的协议,把任何物
随着“互联网+”理念的涌现,带来的是各行业的互联网化与现实世界的数据化,使得数据的种类和规模正在以前所未有的速度不断增长和累积,并以其蕴含的丰富价值对社会生产产生巨大
彩色数码提花技术依托计算机图像处理相关算法,来解决彩色图像输入自动生成提花纹版文件的问题。其主要技术难点在于如何实现全自动选色配色过程,并且随着纹针数的增大,提高色彩
21世纪以来,互联网技术日新月异,蓬勃发展,网络信息丰富多彩,人们在互联网上准确的查找所需信息显得越来越重要,检索系统需要快速准确的将相关度最高的文档返回到结果列表前
相对于高速发展的信息化,会议系统行业是信息化发展相对较为迟缓的领域。而现代的会议对会议系统的要求却越来越高,不仅在功能上要求实现智能化、数字化,还要求根据自身情况对产
突发事故一旦发生,如何快速检测网络舆情非常重要。由于我国微博用户数量的快速增长和微博在信息传播速度、广度和便捷性上的优势,微博在聚合网络舆论方面发挥了巨大的作用,发展
随着智能触屏手机、平板电脑以及嵌入式PDA等设备的快速普及,嵌入式移动设备在工业控制、娱乐消费及医疗卫生等诸多领域得到了广泛应用。目前绝大多数医疗信息系统(HospitalIn
极端学习机(ELM: Extreme Learning Machine)是训练单隐含层前馈型神经网络的学习算法,它不用迭代调整权值,隐含层的输入权值和偏置都是随机生成的,输出权值是通过分析的方法确定
智能监控技术是计算机视觉和安全防范监控领域的一个研究热点,主要涉及计算机视觉、模式识别、人工智能、视频分析与处理等多个领域,以该技术为支持的智能视频监控系统因其广阔
铁路轨道是铁路运输的基础设施之一,在车辆行驶中,来自机车车体的压力和震动直接作用于轨道,导致轨道质量发生恶化。轨道质量状态的优劣影响到列车运行安全性、旅客乘车舒适