随着数据量不断增加以及机器学习任务的模型越来越复杂,分布式机器学习逐渐成为热点。很多研究工作为了让机器学习算法更快,而利多多个处理器,也即为“并行计算”,其核心目标是把计算任务拆解成多个小的任务,分配到多个处理器上做计算。分布式计算或者分布式机器学习除了要把计算任务分布到多个处理器上,更重要的是把数据(包括训练数据以及中间结果)分布开来。有些系统为了更好支持多次迭代的机器学习算法,抽象出了内存式计算模型。Parameter Sever更进一步,解决了当数据达到PB级别时,模型参数过大放不进单台机器的问题。以Spark为代表的系统缺少模型参数切分的解决方案,无法应对大模型的任务如CNN、高维逻辑回归等参数很大的模型,所以为了为Spark做一个参数服务器具有重要意义。基于此背景,本文调研了 Spark的相关原理和技术,实现了基于Parameter Sever系统,实现了可以进行数据并行的WAF应用。在社交网络的用户数据集上进行了验证,取得了预期的效果。主要完成了以下方面的工作:1.设计了可计算大规模语料集的词激活力模型(WAF)的分布式版本,并进行了验证;2.基于函数式编程和响应式编程理念,设计了分布式Parameter Sever系统;并在此系统上实现了支持模型并行的词向量模型;3.基于设计的系统,完成了对全体微博的用户的关系建模。