论文部分内容阅读
随着数据量的不断增长,关系数据分析系统面临着可扩展性和查询性能的挑战,许多查询任务都必须通过使用大规模的集群实现并行处理才能获得较好的查询响应时间。面对大数据处理的需求,并行数据库系统实现了高效的查询性能,但是难以扩展;而现有的基于MapReduce的数据分析系统虽然具有高可扩展性和容错性,但是查询效率较低。基于MapReduce的关系数据联机分析系统Alovera有效地解决了上述问题,实现了对大规模关系数据的高效分析。该系统通过使用MapReduce模型整合数据库集群,实现MapReduce框架和数据库系统对查询任务的共同执行。针对关系数据分析任务的特点,Alovera系统从数据的存储方式、查询计划和查询执行三个方面进行优化。系统使用面向列的关系数据存储方式,在查询执行时动态地进行数据导入。通过基于查询的数据导入方式,系统生成优化的查询计划,将尽可能多的查询任务分配给数据库执行。此外,系统对MapReduce框架进行了扩展,使得数据在MapReduce作业内部和作业之间以流的方式被处理,实现了查询任务的流式处理。通过上面的改进和优化,Alovera系统实现了高可扩展性和查询的高效性。通过在相同的数据集和环境中对Alovera系统和基于MapReduce框架的数据分析系统Hive、HadoopDB进行一系列的对比测试,结果表明Alovera系统的查询性能普遍优于其它的两个系统,特别是在选择和聚集查询上系统的查询响应时间远优于Hive和HadoopDB系统。