面向不同介质固态盘的混合存储系统优化技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:langyagongzi123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于闪存的固态盘(Flash-based Solid State Drive,SSD)已广泛使用,然而I/O瓶颈问题依然严峻,且由于SSD有限的擦写次数,寿命也成为突出问题。基于3DXPoint新型介质的存储设备OptaneMemory加速盘(下文简称加速盘)已开始应用,且凭借时延、读性能、寿命等优势,为传统SSD提速和延长寿命提供了可能。加速盘与闪存固态盘构成混合存储系统,为系统性能提升带来了新的途径。当前的混合存储系统要么采用块设备与可字节寻址的非易失内存设备构成,要么是固态盘加速机械硬盘,如果其调度策略不加修改直接用到加速盘和SSD构成的混合存储上将不能充分发挥其性能优势。
  针对加速盘和传统固态盘在I/O性能、介质特性、容量等方面差别,提出了相应的优化读写控制和数据迁移方法,基于F2FS(Flash-Friendly File System)扩展实现了一种适用于加速盘和闪存固态盘的混合存储系统的一致访问的文件系统HybridF2FS,提高I/O性能。针对现有混合存储系统中同步开销大、数据属性感知不足的缺点,HybridF2FS在文件系统级实现混合设备管理,并在保证一致性前提下,使加速盘的同一块存储空间既作缓存同时又作为持久存储,无需数据刷回,减少了一致性同步开销。针对数据特点,系统将元数据存储在加速盘提高检索速度,提出基于评分的数据调度策略,综合多种因素决定数据写入位置,减少后期数据迁移量从而提高系统性能。此外,HybridF2FS监测数据读写过程,识别冷热数据并以多个数据块组成的段为单元在设备间灵活迁移数据,进一步提高系统性能。为了缓解历史计数导致的缓存污染同时考虑到设备特性,提出了基于时间和I/O粒度两级计数器的LFU改进算法,提高冷热数据识别效果。针对段有效数据块比例(即有效数据率)低导致的段空间碎片问题和数据迁移对用户I/O的影响,设计了基于段有效数据率和迁移窗口的数据迁移策略,根据有效数据率采用不同的迁移方法,降低迁移开销,同时设置迁移缓冲区,减小数据迁移过程对用户I/O的影响。
  实验结果显示,相比于使用闪存固态盘的F2FS文件系统,HybridF2FS的I/O性能有明显提升,其中访问延迟减少37.3%-80.1%,I/O吞吐率提高了59.8%-415.8%。相同测试环境下与Bcache、Flashcache混合存储系统相比访问延迟减少31.3%-86.8%,I/O吞吐率提高了47.2%-319.9%。
其他文献
21世纪,由于全球油价上涨,油页岩工业复苏。在2019年,美国从页岩中开采的致密油已达到其原油产量的半数以上。中国的“十二五”与“十三五”计划,也将油页岩工业提升到了重要的战略地位。  然而,页岩油资源的开采难度较大,成本较高。测井评价作为油页岩工业中的重要一环,有重要的研究意义。将机器学习运用于测井评价,有助于在传统方法的基础上,进一步提高测井评价的准确性,并为发现测井数据的内在规律提供新思路。
学位
现在大型商业云服务提供商,如阿里云,需要以最小的成本为用户提供高质量服务。因此这些云数据中心内部广泛部署由固态硬盘(Solid State Drive,SSD)和机械硬盘(Hard Disk Drive,HDD)组成的混合存储节点,同时提供SSD的高性能和HDD的大容量。这些混合存储节点通常会将应用数据先写入SSD,以保证较低的写入延迟,然后后台线程将其合并批量写到对应的HDD。这种写模式被称为S
学位
随着数据密集型应用内存消耗逐渐增大,现有的动态随机存储器(Dynamic Random Access Memory, DRAM)作为计算机内存已经难以满足大容量、高密度以及低能耗等需求。新兴的非易失性内存技术(Non-Volatile Memory, NVM)具有大容量、高密度和低功耗等特点,可以与DRAM共同组成大容量的混合内存以满足应用需求。但由于当前NVM在读写性能上与DRAM尚存在差距,在
学位
云服务商需要高性价比的大规模存储,通常采用混合存储节点,也就是使用高速固态硬盘(Solid State Drive, SSD)作第一级快速存储,机械硬盘(Hard Disk Drive, HDD)作第二级后端存储。但是SSD存在写磨损和写延迟相对高的问题,因此如何尽量减少SSD写入数据量,并充分发挥其读性能优势,成为了研究热点。  为了理解大规模商业云系统中的数据存取行为,本文分析了阿里巴巴公司盘
学位
基于日志结构合并树(Log-Structured Merged Tree,LSM-Tree)的键值存储系统由于良好的读写性能,受到越来越多的关注,已经成为近期存储系统研究的一个热点。然而,当前的LSM-Tree键值存储系统无法高效地处理频繁更新的倾斜负载,数据会频繁地写入到底层持久化设备,影响前台键值对的插入性能;同时,其内部存在写放大问题,并且文件元数据读取效率也存在改善的空间。  考虑到上述问
随着现代游戏行业的飞速发展,玩家对于游戏品质的要求也越来越高。在游戏中,智能寻路是人工智能的重要应用之一,而A*算法则是智能寻路算法中最热门的算法之一。A*算法结合了启发式搜索的思想,筛选出当前“最优”节点,从而能够大大提升搜索效率。但是A*算法由于需要扩展“最优”节点的所有后继节点,因此在地图较大且复杂的情况下,会面临节点搜索效率低且内存占用大的情况。同时,A*算法仅使用了距离维度的启发函数来评
随着人工智能的兴起和移动互联网的发展,对话系统这一新型人机交互方式逐渐走入人们的生活,并受到学术界和工业界的持续关注。意图识别是人机对话系统中自然语言理解部分的关键子任务,主要用于对话系统正确理解用户语言,意图识别的准确性影响对话系统的合理回复生成以及整个对话系统的服务质量。近年来,深度学习模型在单意图识别任务上有较好的表现,然而在多轮对话中如何利用当前对话的历史信息来理解当前对话的多个意图,是对
数据去重技术广泛应用于存储系统之中,以降低数据存储开销,但是同时也带来了系统可靠性问题。纠删码作为一种数据冗余技术,具有存储开销小、容错率高的特点,因此被引入到数据去重系统中用来提高存储系统可靠性。但当数据节点失效时,采用纠删码的去重系统,降级读性能会随数据块引用次数的增加而降低,进而影响了系统的整体读取性能。  为了提高基于纠删码的去重系统降级读性能,开展了以下研究工作。  设计并实现了数据去重
学位
许多数据去重备份系统在消除重复数据之后应用纠删码,以提高系统可靠性。而最近提出的容器内编码具有较高的降级读性能和较低的存储开销。但是,现有的容器内编码和数据去重相结合的系统可扩展性较差,无法满足随着数据规模和业务复杂度增长而产生的集群频繁伸缩的需求。  基于上述问题,提出了一种用于数据去重备份系统的优化存储扩展方案(Optimized Erasure-Coded Deduplicated Back
学位
近年来,随着非易失内存技术快速发展,动态随机存取存储器(Dynamic Random Access Memory,DRAM)和非易失性存储器(Non-Volatile Memory, NVM)构成混合存储设备来扩展计算机的内存成为一种趋势。传统的Cache替换算法未考虑NVM操作与DRAM操作之间的显著不对称性,因而无法获得较好的性能。  针对上述问题,提出了一种适用于混合内存架构的末级缓存(La