随着大数据时代的到来,用户对于海量数据计算和存储的需求不断提高。Spark作为一个基于内存计算的分布式计算框架以其优异的性能在近年来得到了业界的广泛认可,而Spark生态圈中的组件Spark SQL也成为了不少企业在面临海量数据分析处理问题时的落地解决方案。与此同时,海量数据的存储引擎也在迅猛的发展,支持不同业务场景需求的各类存储引擎纷纷涌现。这些海量数据处理技术的进步为大数据产业的发展提供了强有力的支持。企业的数据会分布在不同的存储引擎和系统中,若需要将这些数据接入计算引擎进行通用的统计分析通常会面临数据孤岛的问题。目前,通过构建一站式的大数据平台已经在一定程度上解决了数据孤岛问题,然而面对日新月异的存储引擎,如何方便快捷地完成计算引擎与不同存储引擎上数据源的对接,以及如何帮助计算引擎理解和适应存储引擎以提高数据的计算分析效率,仍是现今海量数据处理业务场景中需要解决的问题。针对上述问题,本文提出了一个基于Spark SQL的数据源连接器——Stargate,它一方面提供了一套面向不同存储引擎快速对接到Spark SQL计算引擎完成对数据源基本读写的框架,另一方面能够提取SQL分析中的部分计算并下推到数据源,利用数据源存储引擎的特点来快速地完成一些计算以使整个计算分析过程更高效。本文基于Spark SQL设计并实现了数据源连接器Stargate,通过实验对Stargate的功能性和性能进行了测试。实验表明,Stargate能够很好地完成Spark SQL计算引擎与多种存储引擎的对接,并能帮助计算引擎理解和适应存储引擎,提高计算分析的效率。