基于FPGA异构平台的关系型数据库加速技术研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:a63421118
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据库是管理信息社会的重要工具。在“大数据”时代,临床医疗、公共卫生、医药研发、健康网络与媒体等行业均会产生大量在线数据。因而数据库系统面临着数据量庞大、数据结构多样以及数据处理实时化的要求,上述要求对依托于冯·诺依曼体系架构的同构计算模式提出了挑战。为了打破同构计算模式处理能力和数据增长速度之间的壁垒,以新一代高性能计算芯片为核心的异构并行计算体系架构开始得到人们的重视,以实现更高的性能。现场可编程逻辑门阵列(fieldprogrammablegatearray,FPGA)作为一种可编程芯片,在流水线并行计算、响应延时等方面优于通用处理器。于是FPGA与CPU协同的异构加速架构开始在数据库领域中得到应用,基于FPGA的关系型数据库加速成为一个很有价值的研究方向。对关系型数据库的操作是通过结构化查询语言(structuredquerylanguage,SQL)进行的。排序和连接操作是数据库领域中被频繁使用且非常耗时的两个操作,二者作为典型的计算与数据密集型操作,一直是数据库加速领域的重点研究对象。因此,本文以排序和连接操作为切入点,提出了基于FPGA的加速实现方法,并进一步提出了面向不同关系型数据库的异构加速系统架构。本文的研究内容如下:(1)以排序操作为核心的硬件加速器:在数据库中,诸如聚合、排序合并连接算法的实现都与排序密切相关,同时数据库多位宽数据类型的特点对排序算法的硬件实现提出了新的要求。因此,本文提出了一种排序操作硬件实现方法,以解决当前数据库多数据类型流水线执行的问题,并基于该方法给出了三种适用于不同情况的执行模型。该硬件排序方法支持连续、不同数据宽度的数据序列,符合数据库多数据类型的特征。除此之外,本文还实现了一种等值连接结构和选择过滤结构,在所提排序结构的配合下,该加速器可实现如排序、排序合并连接、选择过滤等数据库操作。(2)面向哈希连接算法的硬件加速:哈希连接算法是数据库中应用最广泛的连接算法之一。哈希连接算法硬件实现的性能深受哈希冲突解决方式和哈希表流水线访问方式的影响。基于这两个优化方向,本文给出了两种哈希连接硬件实现方法。对于连接属性不唯一的应用场景,提出了使用布谷鸟哈希算法加链表法的策略以解决哈希冲突,同时减少内存访问次数和提升哈希连接效率;对于连接属性唯一的应用场景,则提出了哈希表加内容寻址寄存器的方法以解决哈希冲突,同时完成了一种适用于该方法的串并行流水线策略,进一步提升连接效率。(3)数据库异构加速系统架构:在不同的应用场景中,多种异构技术各具优势。基于异构平台设计数据库加速方案时,在保证可扩展性与灵活性之余,需尽可能降低数据分析与用户间的通讯延时,同时提高数据处理速度。因此,本文提出了一种基于FPGA的数据库通用加速系统架构。该架构在硬件层面对不同的数据操作提出了针对性的优化方法,同时为不同的数据库软件提供了统一的调用接口,保证了与数据库软件的松耦合,适用范围更广。最后,在标准测试数据集上的多项实验证明了架构的有效性,与传统数据库软件相比达到了最高16倍的性能提升。
其他文献
本共识聚焦人类冷冻精液质量安全,由中国妇幼保健协会辅助生殖技术监测与评估专业委员会精子库与生殖男科学组发起,组织了国内人类精子库领域的专家成立专家共识工作组后反复讨论撰写,内容包含涉及人类冷冻精液质量的各方面,包括实验室环境设置、减少供精者病原微生物感染风险、保证冷冻精液标本质量、保证冷冻精液标本储存安全及加强用精随访5个方面的内容和16个点。
互联网行业蓬勃发展带来软件市场的不断扩大各行业的信息化建设高速发展的同时,也带来更多的网络安全隐患。W公司是从事网络安全软件服务的公司,随着行业发展愈加成熟,同行产品的竞争压力非常大,为了能够快速应对变化的市场需求,公司在早些年就引进敏捷开发模式,但是因对敏捷思想的理解不够透彻,在引入后的研发流程中仍存在开发效率低、频繁变更需求等问题,采取什么样的措施解决公司的当下
以2015—2019年沪深A股上市公司为研究样本,探究供应链金融、会计稳健性与融资效率三者之间的关系,在此基础上,将会计稳健性根据其性质划分为非条件稳健性和条件稳健性,进一步研究不同会计稳健性下,供应链金融对融资效率的影响。通过构建多元回归模型实证研究发现:供应链金融的发展程度越高,企业的融资效率越高;会计信息的稳健性越高,企业的融资效率越高;与条件稳健性相比,非条
人体的生物特征具有唯一性和终身不变性,如指纹、声音、虹膜和笔迹等.依靠这些身体特征进行身份验证的技术即是生物识别技术.其中的指纹识别凭借其使用方便、无损伤和成本相对低廉等优点而倍受瞩目,一直以来成为人们研究和讨论的热点.算法是指纹识别实现的核心.完整的指纹识别算法包括对指纹图像的预处理、特征提取和特征匹配.预处理一般包括图像增强、二值化、细化等步骤,其效果的好坏直接关系到指纹匹配的准确程度.该文将
学位
随着工业化与信息化不断深入融合,传统工业系统正不断向互联网多维控制的方向发展。网络安全态势感知作为一种新的主动的安全防护技术,在工业控制网络(IndustrialControlNetwork,ICN)中得到了广泛的应用。随着ICN新技术和应用的快速发展,以及针对ICN攻击复杂性和攻击手段的不断演化,现有面向ICN的网络安全态势感知方法存在着诸如感知准确率低、实时性差
近日,ABB全新推出IRB920T机器人,进一步拓展SCARA机器人产品系列。IRB920T具有领先的速度、精度和重复定位能力,适用于装配、拾取,物料搬运等各项任务,可满足电子行业日益复杂的生产流程和高速生产的需求,助力电子行业客户提升新品发布效率。该机器人具有更短节拍,最快速度的特点,其节拍时间可达0.29秒,其最大负载可达6kg。
任何时期的科学课程都要与当时的科技发展相适应,在使学生形成有效、合理的科学概念结构体系的同时,使学生能够学习一些新的科技知识,理解科技发展的现状。这样的科学课程才不会落后于时代的发展步伐,才能够承担起培养时代需要的科技人才的作用。20世纪初清末的格致是我国最早出现的小学科学课程,从政府规定的课程目标中以及当时出版的教科书中,都鲜明地表现出19世纪结束时人类的科技发展
近年来随着能源结构的调整以及环境污染问题的凸显,清洁、无污染、可再生的氢能有望成为21世纪最具价值的能源载体。2020年底国务院新闻办发布的《新时代的中国能源发展》也明确提出加速发展氢燃料电池技术产业链及氢燃料电池汽车产业链。加氢站作为氢能产业生态圈的重要一环也得到了极大的发展,截止2020年11月,全球已建成加氢站数量为458座。由于高压氢气易燃易爆的特质,高压储
1990年代,美国研发了干式连接的预制预应力混凝土抗震结构体系(PRESSS),发布了相关技术标准,开展了部分工程实践。该体系的框架节点采用无粘结预应力筋和局部无粘结耗能钢筋混合配筋的连接构造,具有施工效率高、地震损伤轻、延性好、自复位的特点。PRESSS框架节点的干式连接构造,导致连接界面抗扭性能薄弱,而现有框架节点的抗震性能研究未考虑梁端扭矩影响;同时,针对结构
深化三项制度改革是落实党中央深化国有企业改革部署的迫切需要,是建立市场化经营机制的迫切需要,也是实现高质量发展和打造世界一流企业的迫切需要。近年来,中国石油聚焦高质量发展,以油公司改革为统领,紧盯生产组织模式创新、用工方式转型、激励约束机制构建等重点改革任务,通过出台十余个配套政策,同国内外大型企业对标,试点先行,典型示范,促使劳动生产率、基层员工收入、年轻干部占比