海量关系型数据查询优化技术研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:youki2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关系型数据具有明确的类型和结构并且易于使用,因此在企业中发挥重要作用。关系型数据库是当前处理关系型数据的主要工具。各大企业往往把诸如员工信息、交易记录、订单信息等关键数据以二维表的形式存储和记录在关系型数据库中,并采用标准数据查询语言SQL执行关系数据库中数据的检索和操作。然而随着大数据时代的到来,关系型数据也面临着许多诸如体量大、数据种类多样和数据量增长迅速等新特性。传统关系型数据库在数据处理能力和数据检索性能方面逐渐无法满足大数据的需求。因此,传统的关系型数据处理技术正面临新的挑战。针对以上问题,许多科研工作者提出新的技术以满足结构化大数据的需求。最具有代表性的是将MPP并行查询引擎同分布式文件系统相结合结构化大数据解决方案。然而,基于以上解决方案的各种应用的数据处理效率仍然较为低下,性能仍存在较大优化空间。论文针对当前结构化大数据应用性能低下的问题,结合结构化大数据查询任务的特点,提出多种优化技术,以提高结构化数据查询任务的执行效率。首先,论文针对真实应用场景中查询请求高并发性的特点,提出了一种共享查询请求机制,将面向相同数据的原始查询请求合并为共享查询请求。由共享查询请求从硬盘中将数据读取到内存中,原始查询请求从内存中获取各自数据。其次,论文针对当前各应用中对节点间性能差异考虑不足的情况,提出了一种基于时间预测模型的I/O调度方法。通过建立数学模型来来对各节点任务完成时间进行大致预测,并按照预测结果对I/O请求进行调度。最终使得集群内各节点负载更加均衡,以此减低整个集群任务执行的时间。最后,论文针对数据重复查询问题,提出了一种相似查询行为结果复用方法。相似的查询行为可直接从缓存中读取数据,有效避免了在硬盘中重复读取数据的过程。经过测试对比,论文提出的查询优化技术克服了当前应用的诸多缺陷,再带来可接受的内存和硬盘空间开销的同时,对结构化数据查询任务性能提升明显,具有一定的实际意义。
其他文献
<正>脊髓损伤是一种严重的致残性损伤[1],特别是高龄患者身体机能下降,护理不当更易发生各种并发症。因此,做好高龄脊髓损伤患者的家庭康复护理,制定一份合理的个体化出院健
混凝土泵实时排量的计量技术已成为一项亟待解决的工程实际应用技术问题。提出一种基于超声波多普勒法的混凝土泵排量计量方法,建立了混凝土泵排量的数学模型,给出了测量系统的
目的探究经尿道输尿管镜碎石(URL)和微创经皮肾镜取石(MPCNL)治疗输尿管上段嵌顿性结石的效果。方法选取2016年1月-2017年6月我院收治的72例输尿管上段嵌顿性结石患者作为研究对
目的观察中药冷敷对慢性胆汁淤积性肝病继发皮肤瘙痒的疗效并总结临床护理要点。方法将慢性肝内胆汁淤积性肝病继发皮肤瘙痒患者80例随机分为观察组与对照组,每组各40例,分别
作为我党直接领导下的党员干部培养学校,基层党校在党员干部队伍发展方面作出了巨大贡献,培养了一大批意志坚定的优秀共产党员。本文以基层党校建设工作实践与思考为研究内容
高压脉冲等离子体协同催化脱硝是一种新型的NOx脱除技术,以其具有的投资少、占地面积小、运行费用低、工艺过程为干式、没有设备腐蚀、没有二次污染等独具的诸多特点,已经成
过去20年来,随着全球经济的不断发展,全球性的金融危机也频繁发生。局部的金融危机发展成全球性金融危机有两个重要原因:一国金融系统自身不稳定性或系统性风险的积聚效应;全
<正>一、实施背景随着智能电网、特高压、新能源等技术飞速发展,能源产业结构不断调整,电力管理变革不断深化,对电力企业的人才提出了更高的要求。传统人才界定以学历、职称
会议
目的探讨micro RNA-802(mi R-802)和RAB23在前列腺癌中的表达水平及临床意义。方法选取在海南省第三人民医院泌尿外科手术切除的前列腺癌标本60例,并选取其相对应癌旁组织作