【摘 要】
:
当今世界,数据已成为重要的生产要素,海量数据的存储及管理给数据管理系统带来了严峻的挑战。相较于传统的关系数据库管理系统(Relational Database Management System,RDBMS),键值存储系统(Key-Value Store,KVS)具有优秀的水平扩展性,已经被广泛应用于数据密集型应用中。基于日志结构化合并树(Log-Structured Merge-tree,LSM
论文部分内容阅读
当今世界,数据已成为重要的生产要素,海量数据的存储及管理给数据管理系统带来了严峻的挑战。相较于传统的关系数据库管理系统(Relational Database Management System,RDBMS),键值存储系统(Key-Value Store,KVS)具有优秀的水平扩展性,已经被广泛应用于数据密集型应用中。基于日志结构化合并树(Log-Structured Merge-tree,LSM-tree)的键值存储系统使用追加写的方式代替原地更新,分批次写入数据并组织成分层结构,具有数据组织灵活、写入速度快等优点。然而,LSM-tree中的合并(compaction)过程涉及大量I/O操作,消耗大量的计算资源以及内存资源。特别地,当合并操作发生在LSM-tree的高层时,可能会导致整个系统计算和内存资源饱和,出现写阻塞以及写暂停问题。针对键值存储系统的写阻塞以及写暂停问题,国内外已经开展了多项研究工作,主要集中在如何减轻键值存储系统中合并任务的开销。一方面,一些工作从减少合并过程引起的I/O量入手,通过探索数据访问模式来优化系统数据结构,例如键值分离和冷热数据分离,还有一些工作利用新兴非易失性存储器(Non-Volatile Memory,NVM)的高容量及低延迟特性来减少I/O过程中的访问延迟。另一方面,一些工作提出将合并任务卸载到FPGA来减轻系统负担,从而减轻系统的计算压力。然而,这些方案都只注重了减轻计算和内存资源压力中的一种,并不能带来最大效益的性能提升。存内计算(Processing-In-Memory,PIM)技术为同时解决计算与内存资源饱和问题提供了思路,其主要优势为去除了数据在计算单元与存储单元间的数据搬运过程,从而降低能耗,提高计算效率。但如何在键值存储系统中运用存内计算技术值得探讨。本文采用阻变存储器(Resistive Random Access Memory,ReRAM)的存算一体化结构,提出了一种针对LSM-tree键值存储系统的存内计算框架Re-LSM,以较少的数据移动消耗以及高效的并行计算方法有效提高了键值数据库的写入吞吐量,极大程度地减轻了写阻塞与写暂停问题。具体来说,在Re-LSM中,LSM-tree高层中的合并任务被卸载到ReRAM组件中执行,通过将合并操作三个阶段的计算过程分解为基本逻辑操作单元,在ReRAM组件中设计了一个高并行的PIM合并任务加速器。此外,Re-LSM中设计了一种日志转化方法来减少I/O开销。最后,键的范围被划分为不同的细粒度子范围,以便在每个子范围之间并行执行高层的合并任务,提高键值存储系统整体效率。为了验证提出的Re-LSM框架的性能表现,本文基于NVSIM模拟器实现了 ReRAM组件,分析了不同负载下系统的性能与能耗情况。基于dbbench和YCSB工作负载的评估结果表明,与基于CPU实现的RocksDB相比,Re-LSM在随机写入的吞吐量上实现了 2.2倍的提升,基于PIM的合并任务加速器相较于基于CPU的实现加速了 64.3倍,并节省了 25.5倍的能量消耗。
其他文献
2020年底,川东红星地区建南区块针对上二叠统吴家坪组二段部署实施的第1口页岩气风险探井HY1井在压裂测试阶段获得天然气产量8.9×10~4m~3/d,实现了中国二叠系新层系页岩气勘探的重大突破。综合HY1井的钻探成果和岩心、钻井、测井、录井及X射线衍射全岩矿物分析、碳同位素等分析测试资料,系统分析了红星地区二叠系页岩气地质特征和富集主控因素。红星地区二叠系发育两套深水陆棚亚相页岩,具有优质页岩厚
日本奈良末平安初,政权更迭,社会动荡不安,贵族政治抬头,中央集权削弱,南都旧佛教腐败堕落,新佛教顺势发展,天台宗和真言宗成为新佛教的代表。最澄是日本天台宗的建立者,他于824年入唐学天台教法,归国后建立了日本天台宗。最澄入唐的目的虽是学习天台教法,但就中国佛教的实际情况来看,天台宗虽然得到中兴,但当时中国佛教的主流乃是密宗。且密教所具有的重视秘法修行以及咒术的特点与日本宗教本身所具有的神秘色彩不谋
在中国近代史上,东北地区以其独特的地理位置和引人入胜的曲折发展,一直是国内外众多学者研究的对象。在这片东北大地上,不仅有中国最后一个封建王朝清朝,还有中国近代史上第一个傀儡政权——伪满洲国。“九一八事变”后东北就彻底沦为了日本的殖民地。日本侵略者对我国东北的政治经济和军事方面造成了巨大的破坏,给我国人民也带来了难以磨灭的精神伤害。在长达十四年的统治中,为实现充当亚洲霸主地位的梦想,日本把自己打扮成
习近平始终高度重视青年成长成才问题,多次强调“青年兴则国家兴,青年强则国家强”,并且在多个场合表达了对青年成长成才的关心关怀和殷切期望。在百年建党和百年建团的历史节点上,全面梳理和分析习近平关于青年成长成才重要论述,对于实现青年成长成才和助力实现中华民族伟大复兴都具有重要的作用。习近平关于青年成长成才重要论述的形成发展有着深厚的现实基础。从时代背景来看,习近平关于青年成长成才重要论述的形成是百年未
随着5G、人工智能、物联网等高新技术的发展与应用,大容量存储器的关注度越来越高,NAND闪存存储器凭借其大容量和高可靠性等优势,已经成为了一种重要的非易失性数据存储介质。在追求高存储密度的过程中,二维(Two-dimensional,2D)平面NAND闪存到达了微缩化极限,三维(Three-dimensional,3D)堆叠NAND闪存经过十余年发展已经替代2D NAND闪存成为了市场中的主流存储
1.研究背景青少年自杀是一个重要的公共卫生问题。全球每年约有数十万青少年死于自杀,自杀已经成为青少年的第四大死因,会给个体、他人和社会带来较为严重的连锁反应。自杀行为是一系列动态连续的复杂行为,其中非致死性自杀行为(即本研究所指自杀行为)包括自杀意念、自杀计划和自杀未遂,是自杀死亡的重要危险因素,且其更加普遍,在青少年群体中的报告率也较高。全球学校调查发现13.6%的青少年报告过去一年曾有过自杀意
<正>从ODM (原始设计制造商)模式转向消费品牌的过程中,商品多并不一定能给用户带来更多的品牌认知,只有通过推出更多的销售额亿级以上的爆品到达消费,才能够把网易严选的品牌价值体现出来"严选作为一个消费品品牌,销售额是一个很重要的业务指标,为什么我们反而要一直提理性消费,去年甚至还提出要退出‘双11’?这符合我们的品牌发展方向吗?明年我们有什么业务规划?"
近期针对D公司所处行业,国家政策和市场环境出现了较大的变化,这对D公司来说是机遇亦是挑战。学习中心招生工作作为D公司的主要盈利手段,是各项工作的重中之重。管理工作无外乎是对人员的管理,D公司面对新环境、新时代、新问题,要充分发挥管理者的主观能动性。提前布局发现招生人员管理现存的问题,并提出解决方案,探索一条符合新形势的网络教育学习中心招生人员管理工作的新路径。解决D公司学习中心在招生人员管理工作过
矩形钢管混凝土偏心受压构件作为主要受力构件,准确预测其承载力是保障结构安全的重要前提。采用机器学习方法对矩形钢管混凝土柱偏压承载力进行建模预测。建立了包含804个构件的试验数据库,并通过受力机制与数据相关性分析相结合的方法确定机器学习模型的输入参数;采用BP神经网络、RBF神经网络、高斯过程回归等机器学习算法和多元线性回归方法,建立了其偏压承载力预测模型,并对预测结果进行对比分析。结果表明:几何和
自闭症是一种以个体社会功能的损伤甚至丧失为主要症状的发展性神经障碍,表现为与其他人交往兴趣降低的社交障碍,同时伴随着兴趣狭隘和重复性刻板动作。除了其核心症状之外,40%~80%的自闭症儿童患有睡眠障碍。不良睡眠会加重自闭症症状,导致更严重的刻板行为、沟通障碍和情绪控制问题。同时自闭症儿童也通常存在运动协调能力发展障碍或发育性协调障碍,这与他们的运动功能、认知、社交等方面的异常特征以及睡眠障碍存在密