面向数据库负载的LSM-Tree存储缓存设计与优化

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:excalibur
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络的快速发展,大量写密集型负载导致数据规模日趋庞大,为数据库系统的计算和存储能力都带了巨大的挑战,于是涌现出一批计算存储分离的分布式数据库。它们大多基于LSM-Tree存储架构,利用追加写的方式获得了良好的写性能,Key-Value的存储模式让数据库具有了更好的可扩展性。但LSM-Tree存储架构的多层存储结构增加了查询的路径,一次查询将导致多次磁盘I/O。在LSM-Tree存储架构中,缓存是提升读性能的主要方法之一,但针对该架构的缓存研究,相关工作并不多。LSM-Tree存储架构中内存表和缓存均部署在DRAM中,为保证良好的写性能,内存表往往会占用较大空间,本文设计了一种面向DRAM和持久化内存(Persistent Memory,PM)的两级缓存,利用成本较低的PM为缓存扩容,并且利用PM的可持久化实现了数据库缓存的热启动。本文还针对数据库负载的不同特征提出了一种基于混合策略的缓存算法,在进行缓存淘汰时,能够更全面地考虑缓存页的缓存价值。本文的贡献总结如下:1.面向数据库负载的缓存问题分析。对数据库中两种查询负载(记录表查询和索引表查询)在不同的缓存实现下进行了大量的实验测试,缓存中存在:记录表和索引表数据密度相差较大、两种查询的缓存命中率差异较大、不同的缓存实现对数据库吞吐量影响较大、不同的缓存页粒度对缓存命中率影响较大等一系列问题。2.面向DRAM/PM混合内存的高性能混合缓存结构设计。提出了一种面向DRAM和PM的高性能缓存结构,利用成本较低的PM为缓存扩容,并且使用无锁算法进行代码实现。使缓存既拥有更大的存储空间,又拥有高并发的读写能力,还利用PM的可持久化实现了数据库缓存的热启动。3.缓存淘汰算法设计。根据两种查询的负载特征和两种表数据密度的差异设计了一种基于混合策略的淘汰算法,在缓存淘汰时能够同时考虑数据的访问时间、访问频率和数据密度等因素。本文在Ti KV中实现了该两级缓存,并通过大量的实验从命中率、吞吐量等方面与Ti KV原生的链式缓存进行了对比,结果证明面对数据库负载,该两级缓存能够提供更高的命中率和吞吐量。
其他文献
随着算法技术的发展,我国平台经营者开始利用算法实施个性化定价策略,个性化定价算法是互联网经济发展之下的产物,能够帮助平台经济快速了解消费者需求,提供具有针对性的商品和服务,对消费者来说也是一种高效便捷的消费体验,国家鼓励和支持其发展,但是个性化定价算法基于其隐蔽性,商业性等特征,会对市场竞争和消费者权益产生一些负面影响,比如“大数据杀熟”,这实际上是一种价格歧视。在传统市场中,价格歧视是指经营者无
在中国汽车市场进入调整期以及“新四化”带来的行业巨变等多重因素影响下,行业中的马太效应日益凸显。为了适应市场和消费群体的改变,各大车企也在不断调整自身品牌发展战略。基于此大背景下,本文将从消费端出发,聚焦于营销传播、售后服务两方面来研究日本L品牌豪华汽车,探究新时期其在华的营销策略。本研究以管理学和市场营销学等相关理论为基础,首先运用PEST模型、STP战略及4P营销组合对L品牌汽车进行内外部环境
随着垃圾分类逐渐在各大城市开展,厨余垃圾分出量逐渐增多,而家庭厨余垃圾占比大,收集管理困难且成本高,同时厨余垃圾的末端处理能力不足,家用型厨余垃圾生物处理机的应用是缓解当前局面的一个有效途径。本研究针对较难降解的油脂和难降解的纤维素筛选鉴定目标菌株,并结合实验室保存菌株制备厨余垃圾降解菌剂,进行菌剂效果验证、调理剂比选、固体菌剂保存等工作,监测家用型厨余垃圾生物处理机运行过程中相关指标的变化,发现
近十年来,中美双边贸易统计差异每年有将近千亿美元,长期以往,必然影响两国经贸合作关系与全球经济政治稳定。本文比对两国在统计口径、统计原则、统计范围等统计理论与实务差异,按照中美商贸联委会协定的共识,对货物再出口贸易、转口贸易、加工贸易和运输时滞进行拆项核算。其次,以所有权核算法、增加值核算法以及比较优势和贸易互补性视角,探讨中美贸易失衡问题及影响。研究结论包括:一是在2015年至2017年,中方统
对话系统是人机交互领域的研究热点,具有较高的使用价值和广泛的应用发展前景,融入情感的对话能极大地提高人机交互的自然性和流畅性。情感对话生成任务是对话系统中一项非常具有挑战性的工作:纯文本信息难以表征准确的情绪状态和复杂的语境;对于多人对话场景,使用传统Seq2Seq结构很难准确表征和建模;目前在情感对话生成领域的研究主要集中在指定情绪的回复生成,与真实场景不符,对上下文和语境等信息利用较少;现有的
跨国代孕引发了许多法律冲突问题,其结果往往是对弱者利益造成不同程度的影响。面对跨国代孕法律适用问题,目前许多国家的立法还未及时做出反应,跨国代孕法律适用中的弱者利益保护问题逐渐成为国际私法上亟待解决的难题。我国可以在现有的法律体系上进行完善,寻找跨国代孕法律适用中弱者利益保护问题的解决途径。有限开放代孕安排有其存在的必要性。一味禁止代孕不能有效消除或减少跨国代孕安排,而促使跨国代孕转入地下活动。我
随着国家对教育信息化的大力倡导,在线题库等教辅系统的研究已成为当下热点。传统题库仅将书本上的知识数字化,未有效利用教师的知识储备和学生的做题数据,忽略了学生个性化学习需求。针对传统题库的问题,国内已有不少智能题库的研究,但大多仅关注学生需求,致力于实现精准题目推荐以及个性化组卷,未考虑到教师层面的需求以及教师、学生、题库系统三者间的互动性拓展。本文对学生、教师、系统的需求以及三者间的可互动性进行探
2018年出台的《监察法》,赋予了监察机关调查权,该调查权融合了党纪、政纪、刑事调查,成为新的反腐利器。监察机关可据此采取12项调查措施,从查封、扣押、冻结,到检查、搜查再到留置等措施,来确保监察机关对严重违纪和违法行为的全面调查,以实现更好的反腐效果。留置措施具有刑事强制措施的性质。从有利反腐的角度而言,监察制度固然有诸多益处,但从被留置的被调查人角度来说,其在留置期间的权利却与公安刑事侦查中被
自加入WTO以来,我国的经济高速发展。众所周知,科技创新是经济发展的源泉和动力。为了促进高新技术企业的发展,国家出台了一系列税收优惠政策支持和鼓励高新技术企业不断进行科技创新从而提升技术水平。在这样有利的税收法律环境下,与其他类型的企业相比,高新技术企业具备更明显和更有利的优势。因此,高新技术企业应响应国家的号召,正确解读政策引导的方向和相关的内容,把握当前的发展机遇,充分利用国家现行的税收优惠政
透明导电氧化物(Transparent Conductive Oxides,TCOs)材料被广泛地应用在显示、能源、催化、传感技术等相关领域,这得益于它们优异的光电性质,因此TCOs材料的研发也相应地吸引了广大科研人员的关注。迄今为止,有关TCOs半导体材料的相关报道以N型为主,而先进电子器件的开发同样需要性能优异的P型半导体材料,因此P型的铜铁矿材料一经报道便掀起了一股研究的热潮,而CuCrO2