基于非易失内存和RDMA高速网络的数据库索引技术研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:fctznh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网、人工智能和云计算产业的深入发展,数据规模呈现爆发式增长。这一现象给数据库管理系统带来了巨大的挑战,迫使传统数据库向着分布式数据库方向发展。在大数据环境下,利用数据进行分析和预测的应用变得越来越普遍,这些应用对数据库查询性能提出了极高的要求。索引作为数据库中加快数据访问的关键组件,其数据结构和访问策略需要根据应用需求的提升不断做优化。数据库索引的发展除了受应用驱动外,其实现方式也要随着硬件的变化做相应的调整以获得最佳访问性能。非易失内存(Non-volatile memory,NVM)和远程直接内存访问(Remote Direct Memory Access,RDMA)技术的出现为提升数据库索引性能带来了新的机遇和挑战。NVM是一种访问延迟接近于内存的非易失性存储设备,可以用来降低索引访问时延并保证索引持久性。RDMA是一种低时延、高带宽的网络通信技术,可以加速分布式索引的远程通信。但是,简单的用NVM和RDMA替换数据库中的存储和网络硬件是不够的,传统索引结构的设计并没有充分考虑新硬件的特性,以至于新硬件无法充分发挥它们的性能优势。因此,如何结合新硬件的特性设计出高性能的索引结构是一个值得深入研究的问题。本文从存储和通信的角度出发,在不同的场景下利用NVM和RDMA来优化数据库索引性能。优化过程中,本文首先分析了 NVM和RDMA在实际应用中存在的问题,然后针对这些问题重新设计索引结构。本文主要工作和贡献如下:(1)基于NVM的低时延索引持久化技术:将数据库索引存储在NVM上时有诸多的设计考量,因为NVM本身的一些新特性会直接限制其性能优势的发挥。比如,NVM在实际应用过程中会引起读写放大和锁开销放大等。本文提出了一种新的持久性索引结构BPTree来适应这些新特性。BPTree的核心思想是首先将多个写操作缓存在内存中,然后将它们批量的持久化到NVM中以减少写放大。为了提高BPTree的可扩展性,本文实现了一种混合并发控制策略,以确保NVM上的大多数操作是无锁的,对于必须加锁的操作,则将锁从NVM移动到内存中。(2)基于RDMA的客户端高可扩展性索引远程访问技术:RDMA应用于分布式数据库索引时,打破了传统网络和索引节点CPU之间的平衡,高速网络和CPU密集的索引访问操作相结合容易导致索引节点的CPU快速达到瓶颈。针对这个问题,可以利用RDMA的单边操作直接远程访问索引,以此避开索引节点的CPU消耗。但是对于一些基于点的索引结构来说,远程直接访问会消耗多次网络通信,时延较高。本文提出了一种基于跳表(Skiplist)和RDMA的键值存储RS-store,它通过支持两种索引访问模式(本地访问和远程访问)来解决索引节点的CPU瓶颈问题。为了节省索引远程直接访问过程中的通信开销,本文重新设计了一种新的索引结构R-skiplist。另外,本文还实现了一种无锁并发控制机制以保证两种访问模式下的所有操作的并发执行。(3)基于RDMA的低负载索引增量远程同步技术:在基于分布式日志合并树(Log-Structured Merge-Tree,LSM-tree)的数据库中,利用 RDMA 可以加快索引的增量远程同步,RDMA的单边操作还可以降低同步过程中的CPU消耗。但是,RDMA单边操作需要提前知道要访问的远程地址,这给同步策略的设计带来了 一定的挑战。本文首先基于分布式LSM-tree框架设计了一个过滤范围查询中冗余分区访问的索引结构。为了避免一些不必要的网络通信,本文将索引存储在计算节点上。由于远程的数据更新较为频繁,增量索引同步负载较高。为了降低索引同步的开销,本文采用被动同步的方式在不用获取远程地址的情况下使用RDMA单边操作来执行同步操作。综上所述,本文深入研究了基于NVM和RDMA的数据库索引技术,从存储、远程访问以及增量远程同步三个方面结合NVM和RDMA的特性重新设计索引结构,使得NVM和RDMA的性能优势在索引访问中得到充分发挥。首先,本文设计了一种高性能的索引结构来解决NVM中的读写放大和锁开销放大问题。然后,本文针对RDMA引起的网络和远程索引节点上CPU失衡问题,提出了一种混合访问模式来提升索引远程访问的性能。最后,本文在分布式LSM-tree中增量索引频繁同步的场景下,充分利用RDMA低时延和节省CPU资源的特性来降低增量索引同步负载。大量的实验验证了本文方法的有效性。
其他文献
减振降噪是提高乘坐舒适性和结构性能的关键,是汽车设计的重要环节。除利用减振器耗散振动能量外,振动能量俘获是实现车辆减振降噪的另一可行方法,是绿色能源的发展方向。俘获的能量可为车载无线传感器、控制器等电子设备提供电能。为满足越来越多的自供电需求,需要研发高性能俘能器。车辆振动通常由300Hz以下的多频振动混合而成,具有低频宽带特点。常用压电俘能器具有较窄的响应频段和较低的能量转换效率,严重制约了压电
不确定性现象广泛存在于实际工程中,其常见的表现为结构尺寸、材料属性、外部载荷等因素的随机性。这些不确定性会通过结构传播到响应上,导致结构的响应并非一个固定的值,而是表现为某种统计或概率特征。所以,准确分析结构响应的不确定性对评估结构的性能具有重要意义。近年来,基于概率论和数理统计理论发展而来的不确定性分析方法,如:可靠性分析方法,灵敏度分析方法等,越来越多地被应用于实际工程。这些不确定性分析方法中
分布式麦克风阵列是由多个麦克风节点构成,用于对空间中的声音信号进行采集和处理的一种无线声传感器网络。随着声学传感器、无线通信和分布式信号处理的快速发展,基于分布式麦克风阵列的音频处理技术得到高度重视,并在语音交互、智能家居、汽车电子、安全监控、环境监测等领域具有广泛应用。在麦克风阵列的应用中,通常需要估计声源的位置信息,以便完成后续的音频处理任务,但受到环境噪声和房间混响的影响,声源定位至今仍是一
核燃料组件是核电站反应堆的核心和关键部件,随着我国核电机组的不断增加,核电在我国能源比重中不断增大,自主核燃料研发对保障我国核燃料供应安全和“走出去”具有非常重要的作用。由流致振动引起的格架与燃料棒磨蚀是近几十年来压水堆燃料棒破损的最主要原因,流致振动问题是自主核燃料研发中关键技术问题之一,必须开展深入研究。同时在许多工程领域中也存在流致振动问题,从学科角度考虑,对核燃料结构流致振动问题进行深入研
理解托卡马克中的高能量粒子物理问题对实现未来聚变堆稳态长脉冲运行是非常重要的。在未来的燃烧等离子体中,氘氚聚变反应产生的3.5MeV α粒子是自加热源。此外,未来聚变堆中还存在其它高功率的辅助加热,例如中性束注入加热,射频波加热等,这些辅助加热也会产生大量的高能量粒子。这些高能量粒子在等离子体加热和电流驱动中起着重要的作用。一方面,这些高能量粒子可以通过波-粒子共振相互作用驱动各种各样的不稳定性;
聚变能是最具前景的清洁能源之一。在托卡马克等聚变装置中实现对高温、高密度等离子体的有效约束是磁约束核聚变研究的关键。实验测得的输运水平往往比新经典输运理论预测值高出1~2个量级,这类反常输运通常是由微观湍流引起的,所以又称为湍性输运。大量向外的粒子、动量和能量的湍性输运将显著降低等离子体的约束性能、制约等离子体的自持燃烧。因此长期以来输运与约束改善是托卡马克等离子体物理研究的核心问题之一。高约束型
隆脊叶蝉族Paralimnini是角顶叶蝉亚科中较大的族,全世界已知139属931种,广泛分布于全球各地。该族昆虫在维管植物的韧皮部刺吸取食,夺取植物营养、造成机械损伤,主要为害禾本科植物,许多种类传播病原物,造成更大危害。隆脊叶蝉族昆虫外部形态相似,主要通过雄性生殖器特征进行区分,属间关系不明确,而且许多区域缺乏研究。中国和德国是旧世界东西两侧生物多样性丰富的国家,但对该族缺乏系统研究,家底不明
燕麦冠锈病是由柄锈菌属冠锈菌燕麦专化型真菌(Puccinia coronata f.sp.avenae Eriks.)引起的一类主要真菌病害,发病时会造成严重的产量损失。培育和种植抗病品种是防治冠锈病最经济有效的措施。基于当前生产上流行的燕麦冠锈病生理小种或致病类群,鉴定一批可直接用于燕麦冠锈病抗性育种的优异种质,并解析其抗性遗传特性、通过现代分子生物学技术发掘其抗性基因,开发分子标记并结合分子标
三重态光敏剂在许多领域有着广泛而独特的应用,而传统的三重态光敏剂的系间窜越能力大多基于重原子效应,不可避免的存在一定的应用限制。相较于重原子光敏剂,无重原子光敏剂在延长三重态寿命、降低生物毒性以及降低原料成本等方面有着独特的优势,因此正逐渐受到广泛的关注,然而,对该类型的三重态光敏剂的研究仍有不足,如分子构效关系对光敏剂的性质的影响不清晰、发色团种类较少、部分机理的内在驱动因素不明等。因此本文研究
环氧丙烷(PO)是一种重要的大宗化学品,广泛应用于社会生活的诸多领域。丙烯、氧气、氢气气相环氧化合成环氧丙烷具有反应过程简单(只需要一步反应)、环境友好(副产物为水)、不使用有机溶剂等优点,吸引了众多科研人员的研发兴趣。截止到目前,Au/TiO2、Au/Ti-SiO2(介孔载体)和Au/TS-1(微孔载体)等很多含钛载体负载金催化剂已被广泛考察。其中,Au/TS-1展示了最佳的催化活性和反应稳定性