基于SCM的Key-Value存储系统

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:pipi1980_ren
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
非易失性内存是一种非常具有应用前景的计算机内存技术,将会对计算机存储层次结构产生很大影响。非易失性内存具有可字节寻址、访问延迟低、能持久存储数据等特点,是DRAM或磁盘潜在的替代品。其中一些因其可字节寻址特性并能代替磁盘存储数据,又被称为存储类内存(SCM)。这类内存可以和DRAM一样通过内存总线连接到计算机,并通过CPU的load/store指令对它们进行访问。这使得在非易失性内存中设计快速的持久存储系统成为可能。现在针对外存进行优化的键值存储系统,非常依赖文件系统进行数据持久存储。它们不能利用非易失性内存可直接进行数据访问的特性。一些针对非易失性内存设计的键值存储系统认为在系统掉电时计算机硬件应该把高速缓存中的数据保存到非易失性内存中。当计算机不具备这种能力时,数据的持久化将无法得到保证。本文提出一种轻量级日志结构以SCM为存储介质的键值存储系统SCMKV。SCMKV根据键值数据负载的特性提出了用数组链解决哈希冲突的哈希表实现方案,采用日志结构技术进行内存管理,在此之上实现了一个多层的内存分配器以提高内存分配效率,为了提高系统的并发能力,每个工作线程都有自己的数据日志。具体地说,在系统初始化时,SCMKV根据SCM空间大小估算哈希表的初始大小,通过比较大的桶数减少哈希冲突的概率和哈希表的扩容次数。数组链是一种物理地址连续的数据结构,通过高效利用硬件缓存加快系统查询速度。日志结构技术能够提高内存的利用率,并提供数据一致性保证,SCMKV在此之上实现了一种多层的内存分配器。不同层次的分配器完成的功能不同,可实现相应的优化。日志分配器可以提供多线程的资源隔离,对象分配器只需访问DRAM。SCM的读写速度不均衡、写延迟比DRAM高,SCMKV把对象分配器的数据结构存储到DRAM中,并通过读页状态表计算垃圾回收算法的需要的数据,从而减少对SCM的写访问。在使用均匀分布的小对象数据集进行多线程写性能测试时,SCMKV单线程的吞吐量是2.1 Mops,四线程的吞吐量5.4 Mops,具有良好的吞吐性能和扩展能力。
其他文献
儒学海外传播是中国文化“走出去”战略的重要组成部分,要有效传播中国文化,开展跨文化交流,就要从受众对中国文化的接受环境、方式和视野出发,探索出与目标读者有效的交流方
随着科技快速进步,经济的飞速发展,电子设备日益普及到人们的日常生活当中。作为许多电气和电子设备的重要组成部件,铜印刷电路板(Cu-PCB)的需求量非常高。然而Cu-PCB的批量生产常常伴随着大量的酸性废蚀刻液的产生。这些废液不经任何处理的丢弃会破坏自然环境和资源浪费。本论文通过不同的回收方法从废铜和酸性Cu-PCB蚀刻废液回收得到四面体状CuCl。主要研究内容如下:(1)通过一步归中反应同时回收含
关联行政行为的概念产生于干涉行政向福利行政转变的过程中,用以解释和阐述阶段性的复杂行政活动中所产生的法律现象。按照其先行行为与后续行为之间存在的不同联系,可以将其分为两种类型,即多阶段行政行为与多阶段行政程序。在关联行政行为中,先、后行为彼此之间相互关联,行政活动的整个过程由数个程序构成,涉及到数个行政机关的参与,面对这种相对复杂的行政活动,先行行为的法律效力与后续行为的司法审查之间便会产生一系列
克里克(Francis Crick)和科赫(Christof Koch)作为认知神经科学领域的权威,早年作为同事共同寻找意识的神经关联物,试图将人的有意识的活动还原为大脑的神经元活动,是认知神经科学领域中最具代表性的还原论者。克里克提出寻找意识的神经关联物,本质上是想要对意识研究进行一场方法论转向,即从过去的内省的方法转为用神经生物学方法还原人类有意识的活动。而科赫发展了克里克的意识理论,并试图弥
随着电气接触器件逐渐趋于精密化和小型化,工作环境和使用条件变得愈加复杂和严苛,单相增强银基电触头材料已经难以满足对其所提出的极高要求。近年来,由于异类氧化物增强相间对改善材料显微组织和性能具有协同作用,复相金属氧化物增强银基电触头材料逐渐成为电触头材料领域的研究热点。相关研究表明,CuO、In_2O_3与Ag之间的润湿性较好,能够有效增大熔池体系粘度、减少材料喷溅损失,提升电触头材料的耐电弧侵蚀性
无线通信技术和新型传感器的大力发展,使无线多传感器网络信息融合估计系统在导航、目标跟踪、军事监测、医疗等领域得以广泛应用。无线通信的引入给系统带来了很多的好处,节
马来西亚华裔之间主要用汉语进行交流,同时也需要掌握不同的语言作为与其他民族进行沟通的交际工具,这种多语的环境,再加上汉语的语法具有一定的复杂性,因此马来西亚华小学生在学习汉语语法时经常产生一些偏误。在各种语言盛行的环境下,马来西亚华语不免吸收了许多其他语言如马来语和英语的词语,形成独特的语言色彩。这些不规范用词和错误使用汉语语法导致华小学生们在使用汉语进行书面表达的时候经常出现词不达意或书面口语化
近年来,随着中国经济飞速发展,所面临的资源匮乏日趋严重,尤其是水资源紧缺。人们大量使用含有氮、磷等化学元素的肥料,过量的生活污水不经处理直接排入河海,导致了严重的水体富营养化问题,由此引发的水华、赤潮现象对经济的可持续发展产生长远的危害。水华与赤潮是分别在湖泊和海洋中单一藻类爆发性繁殖的现象,水体中叶绿素a的含量可以反映浮游藻类的浓度,因此已成为评价水质营养化的主要参数之一。本文对低能耗、便携式的
随着社会的不断发展与进步,人类对于环境的影响越来越大。为了解决化石能源危机以及环境变暖等一系列问题。人类开始寻求有效的解决途径,热电材料是能够将电能与热能相互转化
目的比较特发性黄斑裂孔(Idiopathic Macular Hole,IMH)患眼和对侧眼与正常眼黄斑中心凹下脉络膜的厚度和血流状况的差异,以及对侧眼与正常眼视网膜结构和血流状况的差异,并