基于Docker的SQL并行查询优化研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:fuzaifeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前人类己经进入了大数据云计算时代,生活处处都在产生数据,随着计算机技术的发展,互联网及物联网等领域的飞速发展对大规模数据的收集和处理带来了很大挑战。早期的SQL查询受到单点计算的影响,既无法进行高并发查询作业又难于实现完美的隔离机制,不能满足日益增长的数据查询处理需求。所以传统的SQL查询已经不能满足数据处理需求,而容器技术是近些年新兴的热门技术。容器以轻量级、读写分离和可移植性高等特点迅速受到技术开发人员等青睐,基于容器的SQL并行查询的优化更值得我们去探讨和研究,以便更高质量、高效率地处理日益增长的数据。并行查询是指允许多个查询在同一台计算机上共存并同时执行,SQL并行查询的优点是能够最大程度地使用多个节点的计算资源,可以提高数据库的工作效率。Docker容器技术是由PaaS提供商DotCloud开源的一个基于LXC的高级容器引擎,源代码托管在GitHub上,基于Go语言并遵从Apache2.0协议开源。自从2013年发布以来,Docker以惊人的速度被全世界科学家及计算机技术爱好者广泛使用和改进。容器技术作为轻量级虚拟技术,能保证性能与物理机性能持平,并且可以实现按需扩展,能减少网络IO,还可以实现数据库中计算与存储分离,提高SQL查询性能。本文从三个方面对基于Docker容器的SQL并行查询进行优化研究,以达到高效利用计算资源的目的。首先,对SQL并行查询的基本过程进行研究分析,讨论分布式环境下连接查询优化算法。本文针对SQL并行查询优化,将传统SQL语句分割成逻辑相关的多个子查询语句,每个子查询可以按照最优顺序并行执行,最后将每个子查询的结果进行逻辑组合得到和原始查询相同的查询结果。SQL并行查询可以有效利用系统的计算资源,并防止系统中节点出现负载过高或过低的极端现象。其次,对SQL并行查询环境中的Docker容器进行优化研究,通过镜像优化、构建私有镜像仓库和Docker持续集成优化等措施,使得容器可以进行快速启停并使占用的物理资源最小化。Docker支持自建镜像和私有镜像仓库,可以根据实际需求进行优化,高效且充分地利用计算资源。通过缩小镜像大小和自建企业级私有镜像仓库等一系列措施可以有效减少网络耗时,以达到快速部署的目的。Docker技术还支持一系列集群编排和监管工具对Docker集群进行更完善的使用,利用Docker技术构建集群数据库能充分利用Docker的隔离性和快速分发更新的特性。最后,本文研究Docker容器技术与SQL并行查询相结合的优势,利用Docker容器技术在分布式节点上构建拥有统一映像的SQL并行查询处理系统。在本文的最后一部分进行总体设计分析和关键技术的研究,并对系统的效率进行测试分析。本文的创新点在于将SQL并行查询和Docker容器的进程级虚拟化机制完美结合在一起。Docker的“瘦身级”虚拟化机制比普通物理机和虚拟机更节约计算和存储资源,更完美适应于计算集群的搭建、部署和开发,可以将SQL并行查询更专注于自动化,轻松部署,操作安全可靠,并有助于规模化横向扩展。在容错机制方面,一旦分布式的Docker集群中出现宕机影响查询结果时,可以利用Docker容器集群管理方案进行整体回滚,将所有非系统应用进行容器化有助于快速启动备用计算容器节点。增加容器集群调度优化处理更能在系统“瘦身”的基础上更细粒度的分化物理节点并增加系统资源的利用率,所以这一课题很有研究和应用价值。
其他文献
<正>引言随着市场经济的不断发展,田径的发展,已走向"平民化"、"国际化"。因此,对于田径人才的需求在不断增大,对于田径人才的要求也在不断提高。而对于我院当代未来体育教师
会议
<正>当前,我国的高考制度改革举世瞩目而又举步维艰。2007夏天,新高中课程改革试点的四个省区山东、广东、海南、宁夏第一批毕业生参加了高考,各省出台的新高考方案不尽相同
针对海上巡逻船应急对抗的问题,提出了应用建模与仿真技术对海上巡逻船应急对抗体系的研究,主要内容包括分队协同作战理论、碰撞检测理论、Agent建模理论。本文最后以假想C国
法治进步的今天,越来越多的刑事案件进入了公众的视线,民众对刑事案件的关注度不断提高,并且关注的不仅仅局限于犯罪嫌疑人的有罪、无罪,对法院的量刑活动也是积极"参与",各
电子在电场中受电场力的作用,如果同时又磁场的影响,电子会受到洛伦兹力,两个力的作用使得电子的运动形态较为复杂,研究电子在场力作用下的运动,首先要用电场和磁场的基本性
随着现代工业迅速席卷全球,环境问题随之而来。煤炭作为我国最重要能源之一,在能源消费结构中占比很大。然而煤中含有大量的硫元素,燃烧后排放的SO_2等硫化物易造成酸雨、雾霾等环境问题,降低废气中SO_2的排放已成为亟待解决的环境问题。目前针对SO_2减排问题,国内外研究者陆续提出了数百种脱硫技术,其中燃烧后脱硫即烟气脱硫因具有诸多优势而被广泛采用。针对燃烧后脱硫中的半干法烟气脱硫技术,喷动床半干法烟气
背景:人实体瘤细胞容易在小鼠体内成瘤,但人荷瘤白血病模型很难构建。通过放射线或环磷酰胺抑制裸鼠免疫系统预处理,可构建低成本、高稳定性的裸鼠模型。目的:探讨融合基因AM
学习就是接收和掌握信息的过程,对于第二信号系统发育不完全、思维能力还不成熟的小学生来说,利用讲解和示范来强化学生的学习意志,帮助学生熟记体育知识和动作技能不失为一
在传统语文教学中,教师过分重视基础知识的讲解,忽略了语文教学的内涵意义,此种教学模式过于片面,与现阶段的新课程教学改革理念不符合。对此,教师要正确认识语文语感的重要
除引言与结语外,本文共分为三个部分。第一部分是在押犯罪嫌疑人的亲属会见交流权基本理论。在押犯罪嫌疑人的亲属会见交流权指的是在押犯罪嫌疑人依法享有的,依据法定程序和