基于SSD--NVM混合的持久化键值存储系统性能优化研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:hhttllzz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于日志结构合并树(Log-Structured Merged Tree,LSM-Tree)的键值存储系统由于良好的读写性能,受到越来越多的关注,已经成为近期存储系统研究的一个热点。然而,当前的LSM-Tree键值存储系统无法高效地处理频繁更新的倾斜负载,数据会频繁地写入到底层持久化设备,影响前台键值对的插入性能;同时,其内部存在写放大问题,并且文件元数据读取效率也存在改善的空间。
  考虑到上述问题,针对以固态盘(Solid State Drive,SSD)为主要存储设备并引入了新型非易失型内存(Non-volatile Memory,NVM)的LSM-Tree键值存储系统进行了优化研究。首先,为了高效地处理频繁更新的倾斜负载,优化设计了持久性热数据缓存管理策略,利用NVM来缓存频繁更新的“热”数据,避免数据频繁地写入到SSD,降低系统的写延迟,并在缓存内部采用混合索引结构,保证在不牺牲系统范围查询功能的前提下,实现数据的高效插入和读取。其次,为了减小系统的写放大,提出了基于文件重叠率的分类合并策略,对合并涉及的SSTable文件采用并行分类合并操作,减少数据的重写量,并将空间放大控制在一定的范围内。最后,考虑到读操作频繁时元数据读取开销会影响到系统读性能,设计了文件数据和元数据分离存储策略,将文件数据存放在SSD中,而文件元数据存放在快速的NVM上,并采用专门的库来对元数据进行直接访问,降低元数据读取开销,改善系统读性能。
  以开源的键值存储系统LevelDB为基础,应用上述优化技术实现了基于LSM-Tree的混合键值存储系统原型SNKV(SSD-NVM Key-Value)。测试结果表明,SNKV相比于国际先进的键值存储系统NoveLSM,对于倾斜负载写性能可以提高56%~5.5倍,对于非倾斜负载写放大可以降低27%~33%,写性能可以提高65%~72%。并且随着读请求数目的增加,SNKV的读性能相比于NoveLSM能够提高近2倍。
其他文献
惯性导航系统作为一门新兴高科技产业,在军事、工业产品、国民新兴经济领域都得到了广泛的应用。但其自主式导航的系统特性使导航过程中产生的误差不能依靠外界信息得到修正,从而降低导航系统精度。研究发现,惯性组件作为惯性导航系统的参数测量单元,其性能优劣直接制约导航系统精度,因此,在目前制造工艺水平有限的情况下,如何优化惯性组件性能,进而提高惯性系统导航精度是国内外相关领域的科研热点。本文主要研究基于系统辨
复杂环境下的目标识别技术是引信近感探测的难点问题。脉冲激光作为一种主动探测手段,通过发射、接收激光束,对接收信号适当处理后与发射信号进行比较,可获得目标的相关信息,从而对飞机、导弹、坦克等目标进行探测及识别。对比无线电、磁及红外探测,激光在探测过程中更不容易受主动电磁干扰,但对复杂的战场自然环境,如云雾、烟尘环境,可能会使激光引信在探测的过程中误把干扰因子识别为目标,造成虚警。因此,研究激光引信在
学位
人体目标检测与跟踪技术是当今社会的主要研究方向和流行趋势。由于人体作为非刚体的代表,相关技术应用到行人方面具有重要的研究价值,而且某些目标与人体目标对象可能具有相似的外形,不利于对人体多目标的检测与跟踪,使目标人体对象的特征提取变得极为困难。因此,对不同应用场景和平台下的多目标人体特征进行有效的检测与跟踪具有深远的应用潜力。  针对不同平台、场景和传统算法对人体多目标检测率低的问题,本文在残差网络
学位
在空空对抗的毁伤效能评估体系中,由于弹丸炸点位置依赖引信接收到的目标反射回波能量大小,目标的博弈性根据炸点位置的变化随机改变,使多发引信炸点与敌目标之间具有博弈对抗关系,双方攻防对抗特性的探索使近炸毁伤这一领域的研究更贴合现代战场的发展方向。国内对于这一方面的研究较少,很难系统的给出破片式战斗部对目标毁伤的数学模型和此过程的可视化模拟仿真。因此,研究不确定目标姿态、不确定炸点位置、不确定破片场空间
学位
为解决听障人群沟通需求日益增长与手语普及率低之间的矛盾,以及用户体验需求的便捷性与智能设备功能的复杂性之间的矛盾,本文借助深度神经网络对人机交互领域的连续手语语句识别问题展开研究,主要研究工作包括:  (1)提出了一种基于区域-卷积神经网络(Region-Convolutional Neural Networks,R-CNN)算法与伽马变换相结合的手部区域分割算法。R-CNN用于检测彩色图像中的目
学位
随着互联网技术的快速发展,用户对存储系统容量和性能的要求越来越高。基于NAND闪存的固态盘由于其大容量和高性能等特性被广泛使用。为满足用户不断增长的容量需求,闪存厂商通过多层单元存储以及3D闪存技术提升存储密度,但在增加闪存容量的同时降低了闪存性能。闪存芯片提供双模切换操作允许单元存储比特数在多位及一位间进行切换,以利用高性能的SLC(Single-Level Cell, 1 bit/cell)模
21世纪,由于全球油价上涨,油页岩工业复苏。在2019年,美国从页岩中开采的致密油已达到其原油产量的半数以上。中国的“十二五”与“十三五”计划,也将油页岩工业提升到了重要的战略地位。  然而,页岩油资源的开采难度较大,成本较高。测井评价作为油页岩工业中的重要一环,有重要的研究意义。将机器学习运用于测井评价,有助于在传统方法的基础上,进一步提高测井评价的准确性,并为发现测井数据的内在规律提供新思路。
学位
现在大型商业云服务提供商,如阿里云,需要以最小的成本为用户提供高质量服务。因此这些云数据中心内部广泛部署由固态硬盘(Solid State Drive,SSD)和机械硬盘(Hard Disk Drive,HDD)组成的混合存储节点,同时提供SSD的高性能和HDD的大容量。这些混合存储节点通常会将应用数据先写入SSD,以保证较低的写入延迟,然后后台线程将其合并批量写到对应的HDD。这种写模式被称为S
学位
随着数据密集型应用内存消耗逐渐增大,现有的动态随机存储器(Dynamic Random Access Memory, DRAM)作为计算机内存已经难以满足大容量、高密度以及低能耗等需求。新兴的非易失性内存技术(Non-Volatile Memory, NVM)具有大容量、高密度和低功耗等特点,可以与DRAM共同组成大容量的混合内存以满足应用需求。但由于当前NVM在读写性能上与DRAM尚存在差距,在
学位
云服务商需要高性价比的大规模存储,通常采用混合存储节点,也就是使用高速固态硬盘(Solid State Drive, SSD)作第一级快速存储,机械硬盘(Hard Disk Drive, HDD)作第二级后端存储。但是SSD存在写磨损和写延迟相对高的问题,因此如何尽量减少SSD写入数据量,并充分发挥其读性能优势,成为了研究热点。  为了理解大规模商业云系统中的数据存取行为,本文分析了阿里巴巴公司盘
学位