分布式图查询系统优化器的设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:lidongying
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图结构数据有助于数据的相关性挖掘,近年来使用图结构来表示大型数据变得越来越流行,其中资源描述框架(RDF)系统逐渐被广泛使用在公共知识库和网页内容的存储上,并给用户提供使用SPARQL语言进行查询的服务。大量的RDF图查询系统被研究界和工业界提出来,这些RDF系统致力于提供给用户在大型RDF数据集中进行高并发度和低延迟的查询服务。查询优化器作为查询系统必不可少的组成部分成为提升查询整体性能的关键,新软件和硬件优化方法的出现给查询优化器的设计和实现提出了新的挑战。查询优化器由三部分组成:基数估计模块、开销模型模块和遍历算法模块。这三部分共同协作对外提供查询优化服务,每一部分都对查询优化的效果和性能都有着至关重要的影响。本文通过数据测试和分析发现传统的基于三元组连接的查询优化器存在许多问题:在基数估计方面,采用基于两元谓词关系的方法进行基数估计,并用两元谓词选择率的乘积来代替多元谓词间的依赖,该基数估计方法也无法适用于新型的基于图探索的系统;在开销模型方面,由于新型查询系统Wukong[1]的出现,查询语义的不同导致成熟的开销模型无法直接移植和复用。针对这些问题,本文首先设计和实现了基于全历史的图探索系统Wukong+Tr,使优化器更加贴合图探索的查询场景,估计准确度和查询性能得到了大幅度提升。本文进一步通过测试来分析Wukong+Tr的各个模块,发现基于两元谓词关系的查询优化器仍然存在一些问题:在基数估计方面,由于忽略了多元谓词间的依赖导致估计的大量错误;在开销模型方面,图探索的语义需要一个更细粒度的开销模型;在遍历算法方面,由于硬件和软件优化的结合使得查询性能大幅度提升,小型查询中查询优化时间会成为瓶颈。针对上述问题,本文提出了基于类型的查询优化方法Wukong+P,这是在Wukong+Tr上的进一步优化。本文基于相同类型的点通常含有相同的谓词组合这一观察,围绕类型来进行统计数据和基数估计,通过将多元谓词依赖嵌入类型中的做法,使得基数估计能够考虑多元谓词之间的依赖关系,同时充分考虑了图探索的语义,采用了细粒度的开销模型,针对查询优化时间的问题,采用了有区分的查询优化策略,解决了传统优化器中存在的问题。通过测试结果发现,Wukong+P和最先进的查询优化器相比,在基数估计方面提升了2个数量级的的准确度;在开销模型方面,估计开销和真实时间的趋势基本吻合;在查询优化时间方面,将小型查询的优化时间降低至0.01毫秒;在整体性能方面,单个查询的性能最高提升2.32倍,选择的查询计划和最优查询计划的平均性能差被缩小到2%。
其他文献
没有救济就没有权利。在当今权利的时代,权利关系到每一个社会主体。公力救济作为救济体系中的主导力量有着不可替代的作用。公力救济的完善程度直接关系到每个人的权利实现
视觉目标跟踪是计算机视觉领域中的一个重要研究方向。由于跟踪过程中目标的外观可能发生变化,因此对目标模板的更新必不可少。然而当目标被背景遮挡时,如果跟踪算法不能准确
越来越多的研究结果表明,神经元的发育和表观遗传学的修饰息息相关。表观遗传调控小脑发育的报道很少,它们之间的作用机理还不清楚。组蛋白H3K9水平被报道与小鼠抗抑郁能力相
本文以大股东公司治理理论为基础,分析了上市公司股权集中度对股价波动性的影响,并利用A股上市公司2013-2017年20个季度的数据进行实证检验。结果表明,第一大股东及其一致行
随着移动互联网的迅猛发展,移动应用软件广泛应用于人们日常生活与工作中,人们对移动设备的使用越来越多。常见的移动应用开发平台有Android平台和IOS平台,其中Android平台由
本研究通过溶液聚合的方法制备了多种含羟基的水可分散型丙烯酸树脂产品,并对水性丙烯酸基础树脂的制备工艺及参数进行了确定。然后以基础树脂为基底,利用长支链单体及功能单体对其进行改性研究,获得了多种改性树脂的合成工艺及生产配方。最后成功制备出了多款双组份丙烯酸涂料产品。论文的主要研究内容及结论如下:(1)利用溶液聚合方法制备水性丙烯酸基础树脂,确定树脂的合成条件以及酸值、羟基值、玻璃化转变温度等性能参数
社区矫正管理工作是一项十分繁琐且复杂的工作,在社区矫正管理人员对矫正对象进行管理时,不仅需要对矫正对象的日常活动进行监控,还需要对矫正对象在矫正期内的表现进行考核
La蛋白作为一种RNA结合蛋白广泛存在于各种真核生物,其作用主要是结合于新合成RNA的3’端并参与加工与代谢。La蛋白可以结合的RNA包括RNA聚合酶Ⅲ转录的所有新合成转录子和一
基于超声导波的结构健康监测技术是提高飞行器结构安全性、降低维护成本的重要手段,但环境因素极易引起超声导波诊断信号的改变,导致损伤虚报或误报,降低损伤诊断结果的可靠
谋划推进一批大江大河大湖治理的基础性、战略性重大水利工程,抓好南水北调东线二期、中线在线调蓄以及西线一期工程前期工作,加快黄河古贤水利枢纽等国家水网重大工程建设…