如今面对与日俱增的数据规模与数据复杂性,Spark大数据分布式数据处理平台以其高性能的缓存机制及高扩展性的特点被业界广泛应用。但是当面对数据密集型应用时,Spark集群仍然存在由于数据混洗阶段的数据放置特点而导致的工作负载不均、缓存无用中间结果等问题。如何合理地在数据混洗阶段放置中间数据及制定合理的缓存策略成为亟待解决的问题。因此研究Spark平台下的数据混洗阶段中间数据放置策略及缓存替换策略具有较高的理论与实际意义。鉴于以上存在的问题,本文从以下三个方面展开研究:(1)针对Spark平台下的reduce任务工作负载不均问题,为了提高Spark应用的平均执行时间和reduce任务负载均衡度,本文设计了一种基于储层采样的数据混洗阶段数据放置方法。该方法首先根据合适的采样率,应用基于储层概念的随机采样方法对输入数据进行随机采样来估计输入数据的分布,并计算出每个数据集合中的元组数量。然后提出一个衡量输入数据集合大小整体偏差度的指标,以此将输入数据划分为轻微偏斜与严重偏斜两种程度。最后针对输入数据的轻微偏斜问题,设计了一种不分割数据集合的粗粒度数据放置算法,此算法通过对数据集合进行排序与调度从而提高系统整体工作效率;针对输入数据的严重偏斜问题,设计了一种基于分割数据集合的细粒度数据放置算法,此算法通过对数据集合进行拆分与合并从而实现reduce任务的负载均衡。(2)针对Spark平台下缓存无用中间结果而导致的系统工作效率低下问题,为了提高Spark应用的平均完成时间、系统内存利用率和缓存命中率,本文设计了一种基于最大化缓存增益的自适应缓存替换算法。该算法首先通过对有向无环图中各种操作的依赖性进行分析,提出了一个用于衡量缓存收益的缓存增益模型,目标是使其缓存增益最大化。然后在作业到达率已知的情况下采用取整舍入方法对该受背包约束的最大化问题求得离线最优近似解。最后在作业到达率未知的情况下,采用投影梯度上升方法获取每个缓存项应放置在缓存中的概率,从而获得满足缓存增益最大化的在线自适应缓存替换策略。(3)对所提算法进行实验验证。在基于储层采样的数据混洗阶段数据放置策略实验中,将所提算法与范围分区算法(RANGE)、默认哈希算法(DEFH)和数据块整合算法(SCID)进行比较,实验结果表明,当输入数据倾斜程度较小时,本文所提的粗粒度数据放置算法的平均执行时间与DEFH算法和RANGE算法相比具有明显优势,同时reduce任务的负载均衡度也得到了很大程度的改善。当输入数据倾斜程度较大时,本文所提的细粒度数据放置算法的平均执行时间与SCID算法和RANGE算法相比具有很大幅度的提高,reduce任务负载均衡度与SCID算法和DEFH算法相比得到明显改善。在基于最大化缓存增益的自适应缓存替换策略实验中,将本文所提缓存替换算法与最近最少使用算法(LRU)、最低恢复成本算法(LCS)和最小引用计数算法(LRC)进行比较,实验结果表明,本文所提缓存替换算法的平均执行时间与LCS算法和LRU算法相比具有明显优势,同时内存利用率和缓存命中率方面相比LRC算法也得到了显著提高。