基于MapReduce的关系数据联机分析处理技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:jingbao0804
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据量的不断增长,关系数据分析系统面临着可扩展性和查询性能的挑战,许多查询任务都必须通过使用大规模的集群实现并行处理才能获得较好的查询响应时间。面对大数据处理的需求,并行数据库系统实现了高效的查询性能,但是难以扩展;而现有的基于MapReduce的数据分析系统虽然具有高可扩展性和容错性,但是查询效率较低。基于MapReduce的关系数据联机分析系统Alovera有效地解决了上述问题,实现了对大规模关系数据的高效分析。该系统通过使用MapReduce模型整合数据库集群,实现MapReduce框架和数据库系统对查询任务的共同执行。针对关系数据分析任务的特点,Alovera系统从数据的存储方式、查询计划和查询执行三个方面进行优化。系统使用面向列的关系数据存储方式,在查询执行时动态地进行数据导入。通过基于查询的数据导入方式,系统生成优化的查询计划,将尽可能多的查询任务分配给数据库执行。此外,系统对MapReduce框架进行了扩展,使得数据在MapReduce作业内部和作业之间以流的方式被处理,实现了查询任务的流式处理。通过上面的改进和优化,Alovera系统实现了高可扩展性和查询的高效性。通过在相同的数据集和环境中对Alovera系统和基于MapReduce框架的数据分析系统Hive、HadoopDB进行一系列的对比测试,结果表明Alovera系统的查询性能普遍优于其它的两个系统,特别是在选择和聚集查询上系统的查询响应时间远优于Hive和HadoopDB系统。
其他文献
近几年来,随着信息技术的普及,计算机图像处理及识别技术也迅速发展,研究理论不断深入,并在许多行业领域内得以实践并运用,例如:在军事、公安领域、航空航天及卫星等的遥感图像识别
随着经济的发展、社会的进步,我国城市化进度不断加快,各类大型建筑物日益增多,对于人员密集的公共场,预先做好紧急情况下疏散方案显得尤为重要。由于疏散过程存在很大的安全
现在浏览器已经成为了电子邮件、网上银行、电子商务等众多网络应用的主要入口。但是浏览器的应用场景面临两大安全威胁。首先,键盘记录器是网络应用账号密码的最大安全威胁。
计算公路网络中两点之间的最短路径问题,由于其在很多地图服务和商业导航系统中有着广泛的应用,最近重新引起了大家的关注。当前的加速方法主要是基于预计算技术,大致可以分
随着半导体技术的发展,多核处理器逐渐取代单核处理器,成为新的工业标准。如何充分利用多核资源提供的计算能力,同时屏蔽底层细节以简化编程难度,是现今编译技术的研究热点和难点
传统的Web服务大多采用基于RPC交互模型,该模型在相对封闭、小的应用环境中取得了较大成功,但用在分布、开放的Web环境中带来了一些问题,如紧密耦合、接口复杂、可伸缩性差,
传统的互联网的搜索技术日趋成熟,而移动场景下的搜索技术则处于起步发展阶段。传统互联网搜索多为通用搜索,而在移动场景下,搜索更趋于垂直化,如本地生活搜索等;同时,移动终端固有
火力发电厂的存煤量是核算发电成本的一个重要的经济指标,而存煤量的盘点是困扰火电厂的难题,早期人们用推煤机将不规则煤堆整形,然后用尺子丈量,计算出煤堆的体积,再乘以煤的比重,得到存煤量,但是这种方法测量结果误差较大。随着科学技术的发展,出现了一些盘煤系统取代了人工盘煤,但构成比较复杂、安装复杂,成本较高等,不能适应复杂的煤场环境和不断变化的需求,因此,为了准确的获得火电厂存煤量,节省发电成本,火电厂
随着智能设备数量日益增加和功能日益增强,汽车已成为人们大量使用个人设备的场所,加之各汽车制造商对于汽车电子化,智能化的努力,汽车早已不只是一个简单的交通工具,而变成了流动
随着计算机硬件技术的不断发展以及虚拟化技术的日臻成熟,越来越多的公司和企业采用虚拟化技术作为资源管理方案,提高服务器的利用率和复用率。同时在一台物理机上能够部署更多