当今的大数据应用往往具有一个共同的特点,同样的计算往往在不断变化的数据上重复执行,例如社交网络数据和网页数据。在这些应用中只是少量数据发生改变,如果重新计算则工作量很大,浪费资源,因此增量计算是解决该问题的有效手段。作为分布式计算中的有效工具,MapReduce框架能够高效地进行批量计算,但无法直接支持增量计算,本文主要研究基于MapReduce的增量计算技术及算法,具体工作如下:1.基于MapReduce的增量计算框架设计与实现本文针对一般问题,设计并实现了一种简洁有效的增量计算框架。主要思路为:利用数据的哈希信息发现数据中重复计算的部分,避免数据的重复计算,只对新增或变化数据进行Map任务处理,并移除删除数据计算出来的中间结果,然后将经过Map处理后,新数据产生的中间结果与剩下的之前计算好的中间结果合并,再进行Reduce计算。本文设计的增量计算框架在Hadoop平台上进行了实现,而底层未做任何修改。实验表明即使数据变化比例达到25%,相对于重新计算,一些应用的加速比仍能达到1.8左右。2.基于MapReduce的增量矩阵乘法设计矩阵乘法被广泛应用在机器学习、推荐系统、社交网络等领域中,这些应用中也往往面临数据的增量变化。对于矩阵乘法计算,提出的增量计算框架存在计算效率不高的问题,鉴于此,本文提出了变化数据识别的改进方法,在原有框架上的哈希方法识别基础上再进行细粒度的元素级检查,设计了一种矩阵乘法增量计算方法,不需对MapReduce框架进行特别设计和改动,通过算法自身来识别矩阵中变化的元素,以变化元素为粒度进行细粒度增量分析与处理。实验表明该增量矩阵乘算法在矩阵元素变化率较低的情形下,具有较好的性能和实际应用前景。