随着1995年因特网向全世界发展开始,信息技术的迅猛成长,数据也呈现出“海量化”的趋势。关系数据是数据直接或间接存在着关联的体现,这些数据隐含了各种关系网络,于是人们逐渐开始关注海量的关系数据的处理的研究。近几年,关于海量数据的去重、连接查询处理及其优化技术逐渐成为研究热点。为了减少海量关系数据冗余的影响,提升其连接查询的效率,本文借鉴传统海量关系数据处理技术的经验,提出基于MapReduce的海量关系数据处理系统,并对该系统设计思路、体系结构、处理流程进行了论述。首先以海量WiFi上下线日志去重处理为例,将大规模并行数据处理框架MapReduce应用于海量关系数据去重处理之中。然后设计了基于MapReduce连接查询处理方法,通过基于Reduce的连接与基于Map的连接方法解决了两表连接查询与多表连接查询的处理问题。接着对MapReduce进行了改进,通过将Map阶段产生的中间结果与历史数据同时作为输入,以流的方式推送给后一个任务的Map,进而让数据在MapReduce作业间全局共享。在进入Reduce阶段前重写partition对数据重新分区进而解决了MapReduce海量上下线日志数据去重统计内存溢出的不足。同时针对关系数据连接查询任务的特点,回顾了SMapReduce框架的优化思路,在此基础上,提出了Commander连接查询处理算法。通过增加Commander节点,用于接收,存储并更新少量全局信息,全局信息经过该节点与每个Map节点通信,进而对map的数据进行过滤,避免了对无用元组的传递和排序,降低了处理代价,提高了连接查询处理算法的效率。最后通过实验对传统去重技术与MapReduce以及改进系统进行去重性能对比测试,检测了去重流程的改进性能,改进系统的在海量数据的背景下,有着良好的运行效率,且避免了内存的溢出问题;同时通过实验将改进后系统分别与MapReduce、SMapReduce进行连接查询性能对比测试,进而检测连接查询的改进性能。结果表明改进框架能够有效地处理连接查询,过滤掉大量的不必要中间输出,具有良好的性能。