随着大数据进入加速发展时期,数据规模越来越大,数据的维数越来越高,数据处理越来越困难,产生了“维数灾难”问题,降低数据维数是降低高维大数据处理难度的重要手段。流形学习是一种数据降维方法,能够保持高维数据的原始拓扑结构,并提取数据内在特征。然而单机下的串行流形学习方法难以适应大数据的要求,而分布式计算平台拥有强大的存储能力和高效的计算性能,非常适合大数据环境下的并行计算。为此,本文基于Spark平台,对并行流形学习方法进行了研究,主要内容如下:(1)针对大规模矩阵计算和传输困难的问题,设计了基于RDD分区的行块式矩阵乘法策略。该方法把矩阵按行分块,读取到RDD的每个分区中,行块式矩阵可不受map算子对RDD的逐条计算限制。同时,利用Spark中成熟的线性代数库参与矩阵级别的运算,提高了流形学习方法的并行性。(2)针对最大特征值的求解效率问题,在块Davidson方法的基础上结合行块式矩阵乘法策略和重新开始技术,设计了基于Spark的并行块Davidson方法。该方法是一种近似特征向量计算方法,在每次迭代过程中执行Rayleigh-Ritz精化步骤,更新特征向量空间,当残量2-范数满足收敛条件时,可将Rayleigh矩阵的最大特征值视为目标特征值,Ritz向量视为特征向量。实验结果表明,该方法能在较少的时间内计算出特征值和特征向量。(3)针对最小非零特征值不易求解的问题,在块Chebyshev-Davidson方法的基础上结合行块式矩阵乘法策略和双迭代重新开始技术,设计了基于Spark的并行块Chebyshev-Davidson方法。使用Lanczos方法估计特征值范围,利用Chebyshev多项式函数把估计特征值范围映射到[-1,1]上,扩大左端点最小特征值附近的特征空间。实验结果表明,该方法可以较快地计算出特征值和特征向量。(4)基于上述两种特征值并行求解方法,在Spark平台上设计了并行ISOMAP算法和并行LLE算法。实验结果表明,并行块Davidson方法和并行块ChebyshevDavidson方法有效提高了并行ISOMAP算法和并行LLE算法的执行效率,同时行块式矩阵分块策略进一步提高了并行流形学习方法的性能,两种并行流形学习方法都可以适应大数据环境下的降维处理。