分布式计算平台Spark在大数据领域迅速发展,其内存计算的特性相较于其他大数据平台,减少了磁盘读取开销,缩短了数据处理时间,在机器学习、图像处理等大规模计算应用方面具有广阔的应用前景。国内外许多企业已将Spark平台应用在实际生产环境中,如亚马逊、阿里、华为等。但Spark平台的性能方面仍需提高,Spark的任务调度机制基于同构集群的理想化设计,导致异构集群中高性能节点的硬件优势未被充分利用,从而造成节点负载不均衡的问题。此外,当大量任务集中处理时,Spark的缓存替换机制无法识别高价值数据分区,导致了内存资源未被充分利用,影响了Spark平台的性能。为了解决上述存在的问题,本文从Spark平台的任务调度机制和缓存替换机制两方面进行研究和优化,具体工作如下:（1）针对Spark默认任务调度算法在异构集群中任务调度不均衡的问题,首先对任务调度问题中任务参数和节点性能参数进行了定义,并设计了一种异构集群中的任务执行时间计算方式。然后提出了一种基于节点能力的本地化任务调度（CBLTS）算法,其中包括节点评估算法,负载更新算法和执行器调度算法。节点评估算法在任务调度前对节点的各项性能参数进行预评估;负载更新算法利用节点资源使用率更新节点负载状态;执行器调度算法结合节点性能、负载状态与任务本地化级别进行任务调度。（2）针对Spark默认的缓存替换算法无法准确评估高价值数据分区的问题,首先对数据分区的权重影响因素建模评估。然后基于该权重模型提出了一种基于动态权重的缓存替换（DWCR）算法,其中包括权重更新算法、缓存清除算法和权重替换算法。权重更新算法在数据分区信息变化时更新权值,准确衡量在当前作业中该分区的重要性;缓存清除算法对缓存中无使用价值的分区进行清理,释放内存资源;权重替换算法在内存剩余空间不足时,结合分区权值与分区信息对RDD分区进行替换。最后通过搭建Spark集群环境,对本文提出的两种算法进行实验验证。首先针对CBLTS算法,在异构集群环境下验证得出该算法能够有效的缓解了异构集群中负载不均衡的问题,使节点可以在良好的负载状态下运行,提高了集群的资源利用率,作业的执行时间相较现有改进算法降低了8.41%。然后验证了DWCR算法的有效性,实验证明该算法能有效提高缓存命中率,提升了平台的性能,在作业执行时间上较现有改进算法降低了7.61%。