随着数据和业务的复杂化,查询满足条件的数据也会越来越复杂,当向分布式数据源查询信息时,编程人员需要了解各种数据的存储位置,存储方式和存储结构,需要调用很多接口来获取相关数据。这通常需要花费大量的编程精力,并要求编程人员对数据接口具有较高的熟悉程度。如果能够向程序员提供统一的数据编程接口,屏蔽后端存取细节,将大大地提高程序员的编程效率。本课题研究了一种基于元数据的分布式查询方法,运用元数据定义和管理各数据源关键信息的虚拟表。然后针对数据量级的不同,设计了小数据和大数据这两种不同的查询以及优化方案。在小数据查询方而,利用虚拟表、语法分析树和内存数据库实现小数据查询,通过复制、移动和分割虚拟SQL查询语法树分支进行优化。在大数据查询方而,运用Pig、Hadoop、python来实现大数据查询；通过优化Pig代码,使用多进程处理HDFS勺小文件合并及文件上传下载,对高频业务建立索引等来实现大数据的优化。利用元数据信息构建虚拟表,实现对分布式数据源的统一查询;利有LEMON语法解析器行用户提交的针对虚拟表的SQL语句进行语法分析和语法检测。在小数据查询方面,利用语法树进行语义优化；利用内存数据库实现多数据源结果集合并。在大数据查询方面,利用Pig脚本提交任务；Hadoop实现分布式计算和查询；通过多进程处理HDFS小文件的合并以及文件的上传下载来减少NameNode节点的负载,提升上传下载的速度；对高频业务建立索引,能快速查找数据,减少数据加载量实现了数据查询的优化,达到了优化目的。本课题的研究方法屏蔽了分布式数据源查询的复杂细节,能够为用户提供一个统一、简便的SQL查询接口,使分布式数据的联合查询更加便捷,有效地提高了联合查询的执行效率。