基于RDMA的分布式系统二级索引设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:dfcy007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网时代的到来进一步加速了数据的爆炸式增长。越来越多的企业意识到大数据的巨大潜能,以及为企业发展带来的巨大影响。伴随着大数据潜在价值的到来,人们对海量数据计算能力提出了更高的要求,这对以数据处理为核心的关键产品——数据库提出了更多的挑战。现有的数据库大多设计为分布式系统以提高性能,而如何提高以分布式二级索引为核心组件支撑的范围查询能力,一直是工业界和学术界研究的热点问题之一。提高范围查询能力的关键在于加快范围命中数据的定位和数据存取过程。为了提高范围查询能力,现有系统从优化分布式二级索引和优化数据分布两个方面做了很多研究和努力。然而,现有设计仍然存在频繁中断CPU、传输命中数据的序列化成本高、牺牲原有点查询效率等问题。为此,本文深入分析了现有分布式系统在设计实现范围查询时存在的问题,以及现有技术带来的机遇。通过在联机分析处理(OLAP)查询场景下结合系统的备份恢复机制,以不牺牲点查询效率为前提,本文设计并实现了将备份数据构造为索引式备份并基于此的范围查询方法。本文的主要贡献分为以下三个部分:·本文深入分析了现有分布式范围查询技术存在的问题。从二级索引的角度来看,由于需要保证索引值的相对顺序关系,现有二级索引大多使用树结构实现且被划分到多个计算节点中。使用远端过程调用查询远端的二级索引树时,频繁中断远端机器CPU会造成上下文切换的开销;使用远端内存直接访问技术的单边操作查询远端二级索引虽然不会中断CPU,但会造成查询次数放大的问题;此外,范围条件经二级索引转换为多次点查询,而大量的点查询会成为整个查询的性能瓶颈。从数据组织分布的角度来看,当命中数据散列存储时,传输命中数据需要额外的序列化开销;使用列式存储重新组织数据能降低序列化开销,但会影响点查询的效率。理想情况下,增加冗余副本能针对性提高查询效率,但会为系统带来较大的存储压力。·提出并实现了一个全新的基于索引式备份的范围查询方法。现有的系统会提供使用基于副本的备份机制,来保证系统在异常情况下做到工作数据的持久性和工作状态的可恢复性。本文提出了一个将备份数据重构为索引式备份、并基于此的范围查询方法。索引式备份方法将备份数据重构为适合RDMA单边查询的形式,并让其参与到范围查询的处理过程中。在引入有限的命中数据传输开销、且不影响原有点查询效率的基础上,为系统提供更加高效的范围查询能力。·提供了多方面的测试以分析索引式备份方法的性能和效果。基于TPC-H基准测试的实验表明,性能方面,索引式备份方法在引入有限的传输开销基础上能降低传输命中数据的序列化开销,为后续计算提供1.1至11.2倍的计算性能提升,降低整体6.4%至69.7%的查询延迟;可扩展性方面,基于索引式备份的并行范围查询模式能够提供较好的可扩展性。
其他文献
P2P网贷平台以其门槛低、限定条件少、收益率高等特点,迅速占领互联网金融市场;在快速发展的同时,风险逐渐凸显,平台问题也逐渐暴露。跑路、清算、爆雷等平台问题层出不穷,给投资者带来了巨大的损失,也给监管者和平台经营者提出难题。P2P网贷平台的生存受多种因素的影响,关乎其生存与发展的平均出借收益率的高低也由多种因素决定,对P2P网贷平台进行生存状况研究,挖掘影响平台生存发展的关键因素,对平台的发展有着
目的:分析气候因子和重污染天气对哮喘患儿的影响,进一步为哮喘的预防和诊治提供更加全面、客观的依据。方法:选择于我院就诊的哮喘患儿及健康儿童各25例。记录两组儿童的基本资料(年龄、性别、BMI),危险因素(出生史、喂养史、既往过敏史、既往反复肺炎史、家族过敏史和/或哮喘史),急性发作诱发因素(呼吸道感染、气候变化、刺激性食物、无明显诱因、剧烈运动、空气污染、刺激性气体),入组时、低温高气压及重污染天
牛传染性鼻气管炎(IBR)和牛病毒性腹泻(BVD)分别是由牛传染性鼻气管炎病毒(IBRV)和牛病毒性腹泻病毒(BVDV)引起的一种牛的急性、热性、接触性传染病。IBRV主要引起牛发热、严重的上呼吸道症状、母牛流产、死胎,以及生殖道炎症和犊牛脑炎等。BVDV主要引起牛发热、粘膜溃烂、腹泻和流产等症状。我国将IBR和BVD分别列为二类和三类动物疫病。目前,这两种传染病在我国广泛流行,给养殖业造成重大的
衔接作为语言逻辑性和连贯性的重要因素对语言表达质量至关重要,近年来逐渐成为口译研究中新的研究方向。为探索国内职业译员和学生译员的衔接使用情况,许多学者曾进行过二者的对比分析,主要使用的是外交场合的汉译英交替传译翻译材料。这是因为在各方面的交流合作中,外交场合对翻译质量的要求极高,而交传能较好地保证语言质量和信息的完整及准确,也成为外交场合常用的口译模式。但此前的研究在研究方法、分析框架等方面有所欠
随着经济的发展,全球化进程加快,跨国公司为了获得更大的利润,在立足本土的基础上开始积极的拓展海外市场,纷纷在其他国家开工建厂。在这种环境背景下,为了更好地适应当地经
互联网技术的迅猛发展给反不正当竞争法带来极大的挑战,涌现出大量新型、疑难的案件。在传统不正当竞争法无法囊括此类案件的情况下,实践中司法机关常常运用反不正当竞争法第
随着信息技术的快速发展,以及经济全球化的深入推进,各行各业开始引入先进的机器设备。知识经济带来的共享共建模式,要求组织不断的创新进步以求得生存发展。在这样的背景下,人这一要素在组织中的重要作用逐渐突显出来。组织在一个行业中的竞争优势已不再来源于物质资源的占有,而是对人才的吸引、培育和保留,人才的不可复制性和难以模仿性,塑造了组织核心竞争优势的持续性。一个组织要想在日新月异的市场环境中求得生存和发展
学位
社区是社会治理的基本单元,也是国家治理的基石。习近平总书记赴湖北省武汉市考察疫情防控工作时明确指出"我们今后要更加重视社区工作"。社区管理与服务创新永远在路上。为
党的十九大报告提出我国实施乡村振兴战略,加快推进农业、农村和农民的现代化发展。特色田园乡村已经成为我国乡村振兴的主要措施,一方面可以为城镇居民提供良好的生态环境和生活空间,同时还为乡村居民致富提供了新的发展方向。目前我国乡村经济的增长遇到一些困境,实施特色田园乡村项目建设,突破农村经济发展的刚性极限,有利于推动当前农业现代化发展和城乡发展一体化。本文以泰兴市宣堡镇银杏村为案例,从特色田园乡村规划建