随着信息产业尤其是互联网的高速发展,人们所能够获取的信息成爆炸式增长。对于PB级的数据处理已经成为越来越多机构的日常需求。本文详细介绍了当前海量数据处理的主流计算模型——MapReduce及其相关技术,并且对这些技术的优劣进行了详细的分析。并且在此基础上提出了一种新型海量数据计算模型——泛MR模型。泛MR模型是MapReduce模型的一个泛化版本,可以完成MapReduce能做的任何工作。但是该模型从计算流程、中间数据分配方式等方面对MapReduce模型进行了改进。在计算流程方面,系统不再使用Map任务和Reduce任务,而是使用Function任务。Function任务可以完成类似于Map任务或者Reduce任务的工作。但是一个Function任务可以有多个输入数据流,也可以有多个输出数据流。用户可利用Function和数据流构造一个有向无环图,从而完成计算流程较为复杂的任务。泛MR模型还增加了一种被称为远程combiner的机制,该机制类似于MapReduce模型中的Combiner机制,但是不同的是该机制可以对机架内的中间数据进行预处理。泛MR模型对于中间数据的分配采用够动态分配模式,该模式根据中间数据的大小以及分布来决定具体的分配方式,从而避免数据倾斜或者不合适的Function实例数目。泛MR相对于MapReduce在易用性、稳定性方面有明显提升。笔者还从日常海量数据处理场景中提取了一些具有代表性的测试用例,并且在集群环境下对这些测试用例进行测试。本文详细介绍了这些测试用例,并且给出了重要的原始测试数据。从这些测试数据中可以看出,泛MR系统在进行聚合计算、级联计算的时候,相对于MapReduce模型有明显提升;在进行分支计算的能够明显节约计算资源;在数据倾斜较大的情况下,动态分配能够提高计算效率;由于测试数据有限,我们未能充分测试远程combiner机制的效果。