【摘 要】
:
云存储日益成为海量数据的重要存储技术,但是其存储空间和每秒读写操作次数(Input/output operations per second,IOPS)按量付费(Pay-as-you-go)的特点与传统本地存储设备的差异明显,对应用广泛的基于日志结构合并树(Log-structured merge-tree,LSM)的键值存储系统的读写性能产生了严重影响。在读性能方面,低成本云存储卷有限的IOPS
论文部分内容阅读
云存储日益成为海量数据的重要存储技术,但是其存储空间和每秒读写操作次数(Input/output operations per second,IOPS)按量付费(Pay-as-you-go)的特点与传统本地存储设备的差异明显,对应用广泛的基于日志结构合并树(Log-structured merge-tree,LSM)的键值存储系统的读写性能产生了严重影响。在读性能方面,低成本云存储卷有限的IOPS使得LSM键值存储系统的读I/O放大问题更为严重;同时,LSM键值存储系统的键范围分布不均问题导致多个云存储卷的付费IOPS性能难以充分发挥。在写性能方面,LSM键值存储系统频繁的合并任务会产生大量的计算操作,使得CPU计算成为写性能瓶颈,难以有效利用高性能云存储卷的付费性能。因此,本文围绕云存储按量付费的特点和LSM键值存储系统的读写方式,从减轻读I/O压力、均衡键范围分布和加速合并任务操作三个方面展开研究。为了提高存储性价比,LSM键值存储系统通常采用少量高性能云存储卷搭配大容量低成本云存储卷的混合存储架构,但是云存储昂贵的IOPS性能使得存放了大量数据的低成本云存储卷IOPS有限,对大量数据的访问凸显了LSM键值存储系统的读I/O放大问题。为此,提出一种前缀压缩索引的分层云存储读优化方案Rocks Mash。Rocks Mash采用高性能云存储卷存放LSM的顶层数据和底层元数据以提升读I/O性能,采用低性能低成本云存储卷存放LSM底层的数据以降低存储成本。其次,提出一种前缀压缩的索引结构Mash Meta,能够大幅减少元数据的内存占用,并且保证每个读请求最多访问1次低性能云存储卷。此外,以高性能云存储卷作为内存空间的补充,设计了一种基于LSM写请求特点的持久缓存方案,可精确识别失效数据块以减少底层数据的I/O访问。实验结果表明,Rocks Mash可有效提升读性能,提升1.7倍的IOPS、减少65%的元数据大小并提高了0.9倍持久缓存命中率。多个小容量云存储卷比相同费用的单卷性能更高,但多个云存储卷负载不均,导致IOPS利用率低且平均时延较高,严重影响读性能,对此提出一种负载感知的云存储多卷读优化方案TANGO。TANGO采用键范围感知的写策略,在写入时直接均衡键范围在各卷之间的分布,同时通过后台负载迁移进行动态优化。其次,通过测试与理论分析,发现云存储在I/O超载时存在“防御”机制,因此采用双层I/O流控机制,在用户层根据各卷的付费IOPS性能和负载情况动态地调整允许接收的用户请求数量,同时在块设备层严格限制发给每个卷的I/O数量,避免触发云存储卷的“防御”机制以获得更好的平均时延。实验结果表明,TANGO相对大容量单卷方案增加了7倍的性能,相对现有存储多卷方案提升了20%的性能,各成员卷之间的负载差异仅为3%,同时降低了60%的平均时延。针对使用高性能云存储卷时,CPU计算瓶颈限制LSM键值存储系统写性能的问题,提出一种GPU加速的细粒度并行写优化方案LUDA。结合GPU适合处理并行任务的特点以及合并任务的天然并行性,LUDA引入GPU加速处理合并任务所产生的大量操作以提升写性能。在此基础上,为适应GPU的存储层次结构,LUDA提出最少数据移动的轻量级合并方案,减轻GPU内的数据移动对合并任务的影响;此外,通过细粒度并行处理来适应GPU的并行结构特点,提升单个合并任务内的操作并行性;最后,采用关键任务优先的策略及时处理写路径上的关键任务,避免写阻塞的同时保障多个合并任务在GPU上的并行性。在亚马逊云和阿里云上的实验结果表明,LUDA最高提升了1.77倍的写IOPS,同时99%长尾时延表现更好。
其他文献
随着物联网和人工智能时代的到来,基于冯诺依曼结构的数字计算在处理海量信息时需要消耗大量的能源和时间。另一方面,摩尔定律逐渐走到尽头,硅基晶体管性能无法大幅提升。基于新兴非易失器件的存内模拟计算作为一种新的范式逐渐回归,有望实现高能效、高时效的计算。其中,自旋轨道力矩器件因其读写路径分离,低功耗、高速度、高稳定性和耐久性等受到了广泛关注。目前,存内模拟计算中,模拟算术运算和基于模拟式人工突触的神经形
汞是一种有毒物质,对人类的身体健康和生态环境造成了严重的危害。煤的燃烧是大气汞的主要来源之一,因此需要研究和开发针对燃煤烟气中汞的脱除技术。光催化技术具有环境友好、能耗低、反应速度快等优点。铋基催化剂是一类光催化性能远优于常见纳米催化剂的可见光催化剂,带隙小,内部电场强,具有强氧化性,研究其脱汞性能具有重要的理论和现实意义。本文运用多种分析测试手段对纯钨酸铋和钼酸铋(Bi2WO6和Bi2MoO6)
在工厂生产实践中要用到很多的连锁条件,而这些连锁条件之间又有各种各样的关系,应用梯形图编程来实现显得比较繁琐,而INTLOCK(连锁块)因其强大的功能能够很容易的满足工厂编程的要求,在CFC环境下可以实现各种各样的连锁关系,且每个连锁块之间也可以通讯以满足顺序连锁逻辑关系。
在船舶与海洋结构物的工程应用中,对等温及非等温不可压流动的数值模拟具有十分重要的意义。作为介观数值方法领域中最新成果之一,简化格子玻尔兹曼方法(Simplified lattice Boltzmann method,SLBM)凭借其节省计算内存,增强数值稳定性以及简化边界条件处理的优点,正在受到越来越多的关注,目前已被应用于模拟各种等温及非等温不可压流动问题。但SLBM尚且存在一些不足之处,包括:
汉语词汇史的描写与构建是以不同历史时期汉语词汇的研究为基础的,而两汉时期正是汉语由上古到中古发展变化的一个关键时期,这一时期汉语专书词汇的描写与断代分析就显得尤为重要。与上古汉语早期相比,两汉时期汉语词汇复音化程度已经有了明显进展,与中古汉语已经相当成熟的复音化相比,这一时期正处在承前启后的过渡期。目前两汉时期汉语断代专书词汇的研究还不够充分,不少这一时期重要典籍的研究都集中在文献学、文学、历史与
The lack of rapid and effective communication between authorities and citizens during a crisis may lead to unimaginable damage and even lost lives.This thesis aimed at exploring how a government agenc
21世纪,大数据的浪潮席卷全球,对大数据的高速智能处理作为令人瞩目的新一代信息技术,其成功的背后离不开高性能存储器提供的硬件支持。现如今,社会对于存储器性能的需求与日俱增,但是传统存储器却逐渐陷入发展瓶颈,因此发展新型存储器技术是未来的主流趋势。在众多的新型存储器技术中,非易失性的相变存储器之所以备受青睐,凭借的正是其接近动态随机存储器的读写速度以及媲美三维闪存的存储容量。相变存储器的性能在很大程
直接甲酸燃料电池(Direct formic acid fuel cell,DFAFC)具有较高的理论电压和能量密度,且燃料渗透率低,被认为是一种有前景的能量转换装置。然而,阳极甲酸氧化反应(Formic acid oxidation reaction,FAOR)机理复杂,反应过程中甲酸间接氧化途径产生的一氧化碳中间体(CO*)极易使催化剂中毒,降低FAOR效率。因此,开发高效的电催化剂将FAOR
CFC连续功能图是一种图形化的控制编程语言,是IEC611131-3标准编程语言的扩展,是基于功能块图(FBD)的图形化编程语言。龙芯是中国科学院计算所自主研发的CPU芯片,龙芯平台使用龙芯芯片,运行中标麒麟、银河麒麟等国产操作系统。本文首先介绍了CFC语言的组成,其次介绍了CFC语言在龙芯平台下的编译;最后,CFC语言运行在国产龙芯平台上。
作为一项个体差异因素,学习者能动性对于语言学习的过程与结果产生重要影响。具有能动性的学习者能够积极应对语言课堂内外的各类机遇与挑战。然而,关于能动性是如何通过个人努力、现有资源以及环境因素之间的相互作用得以发展的研究并不充分,尤其是对基础教育学段英语作为外语学习者的能动性的研究还很匮乏。为了进一步探索外语学习者能动性,本研究选取上海市一所重点中学的高水平英语学习者作为研究对象,通过学习者自我报告的