随着移动互联网、云计算等的快速发展,数据规模迅速增长,大数据的应用场景愈加复杂。以微软、Yahoo!等为代表的互联网公司以及Apache开源社区研发了一系列针对大数据的处理工具,由最初的批处理计算发展到现在的流计算和实时交互式计算。不同的计算框架面向不同的应用场景,批处理系统适合处理数据量大且对实时性要求不高的场景,流处理系统有快速的响应能力,但不能对结果重复计算,且对硬件的要求比较高。批处理和流处理通常要部署两套集群,数据在批流两套集群中流转,造成部署和运营成本上升。单一的计算框架已经逐渐无法满足对复杂数据处理的要求,业界迫切需要一个能同时满足离线和实时计算需求的框架,降低数据管理和运营成本。目前业界已经出现了一些支持批流计算模式的框架,比如开源社区的Flink,阿里巴巴的Blink,腾讯的Oceanus,这些框架旨在融合多种计算系统,将大数据处理平台进行统一以提供多种计算服务。然而,在构建批流一体计算平台过程中,如何将不同系统中的数据和权限做到统一管理,如何实现批数据和流数据在表达和查询的统一,如何优化数据查询操作,并保证批流一体计算结果的准确性,仍面临一系列挑战。针对上述问题,本文重点开展了以下两方面的研究:一方面,针对批数据和流数据的统一表达和查询问题,引入动态表和对流式数据的撤销操作,同时形成了一套将任意标准的SQL转化为实时计算程序的方案,保证了对批流数据查询的准确性,达到了对批数据和流数据使用一套SQL进行查询的目的,实现了批流数据的统一表达和查询。同时,针对不同大数据系统元数据和权限的统一管理和维护问题,提出了元数据管理系统Meta Service,且基于Meta Service,实现了权限统一管理系统,达到了在任意一个大数据系统中生成数据都可以在其他系统中无缝衔接使用的效果。另一方面,为了对大数据处理系统Spark的优化器Catalyst查询性能进行分析优化,从基于规则(Rule-based optimization,RBO)和基于代价(Cost-based optimization,CBO)两个方面,研究分析了Catalyst对SQL语句的优化策略。同时,选择了包括Combine Filters等众多优化规则,对Catlayst基于规则的优化性能进行了实验。在改变负载和集群规模的条件下,分别研究了RBO和CBO对SQL查询语句的优化效果。最后,针对Catalyst处理SQL语句执行过程中的参数设置给出了优化建议,包括设置数据处理并行度,设置Driver和Executor的进程参数以及使用广播变量,实验结果验证了优化建议的有效性。本文所研究的批流一体计算平台的关键技术可用于在搭建批流一体平台过程中实现批流数据的统一表达和查询,提升对批流数据的处理能力,降低集群搭建的开销,同时也对元数据和权限进行统一管理和维护,形成对批数据和流数据的高效管理。对于Spark查询优化器Catalyst对SQL的查询处理优化的分析,能对社区开发者进一步改进优化器性能提供启发和借鉴作用。