随着互联网行业的迅猛发展,全球总数据量的爆炸性增长,大数据已成为备受关注的研究课题。Hive作为最常用的一款数据仓库软件,在Hadoop分布式系统架构上实现了查询处理引擎,然而Hive在进行查询操作时仍然存在查询速度不够理想的缺憾。这一问题会使用户在做数据分析时耗费更长的时间,甚至导致分析处理速度跟不上数据增长的速度,严重制约了人们在大数据领域的发展。当下Hive对于Parquet列式存储文件的查询应用较为广泛。如何提高Hive基于Parquet文件的查询效率是一个尤为重要的课题。在对Hive的查询处理流程进行研究与分析的过程中,找出了某些情况下可以大幅提高Hive查询效率的改进方法。其一是在批量化查询的前提下,通过进一步分析Hive的查询流程,发现在读取数据的过程中,Hive执行了很多次重复的指令,导致了代码路径过长,CPU指令数过多的问题,遂提出了向量化查询的优化思想。此项优化使用向量作为基本操作单元,向量中装载有一批数据,每次操作均是一次性对一批数据进行操作。其二是在查询嵌套列式数据的前提下,通过分析Hive现有的字段剪枝,发现其不能过滤掉结构体中多余字段的问题,并基于此提出了更细粒度化的字段剪枝优化思想,使其能在查询执行之前对结构体中的多余字段进行过滤,避免了查询过程中过滤多余字段的工作,达到提高查询效率的目的。在对这两种优化进行验证的过程中,使用了典型的数据库测试基准以及通用应用场景下的一个典型案例。在生成测试数据后,通过对比优化前后同一个SQL语句执行时间,证实了这两种优化在符合要求的查询中能够显著提高Hive对Parquet文件的查询效率。