近年来,随着内存计算的日益兴盛。Spark系统作为基于内存计算的大数据处理系统已经在全世界各种不同的领域得到广泛的应用。相比于Hadoop,Spark在性能上有了很大的提升,特别是在交互式和迭代式计算中。Spark系统沿用了Map-Reduce框架。Shuffle仍然是其中一个重要的阶段,这个阶段日益成为了Spark系统的性能瓶颈。而Shuffle阶段的性能瓶颈主要在于网络传输的速度不够快。RDMA作为近年来兴起的网络通信技术,得到了越来越广泛的应用。他的低延迟、高带宽特性,让人们自然而然地想到用RDMA技术来加速Spark系统的网络传输,从而加速他的Shuffle过程,最后达到提升整个系统性能的目的。本文的工作主要集中在两部分,一部分是设计并实现了一个适合Spark系统特点的底层的RDMA传输引擎。另一个部分工作就是优化Spark Shuffle模块本身的结构,将传输引擎以额外开销最小的方式集成到Spark系统中。在第一部分工作中,我们设计的RDMA传输引擎首次使用无连接的数据报传输方式实现Spark系统的传输模块。以此来避免因为活动连接过多导致RNIC芯片上的缓存Cache Miss率上升,从而影响RDMA的传输性能这一问题。使用数据报方式传输在带来了优势的同时,也引入了新的问题。为了充分利用数据报方式带来的无连接的优势以及解决这种方式带来的问题。本文首先提出了消息分片、乱序并行发送分片及分片重组这一套机制来适应数据报传输方式,并且同时挖掘其中的并行性以便充分利用物理网络的带宽和多处理单元的特性,从而提高整个系统的吞吐率。然后本文设计了一个动态缓冲区池来管理传输过程中用到的缓冲区,并且针对应用可能一次性大量申请缓冲区的特点设计了批量的申请与释放功能来优化缓冲区池的性能。在第二部分工作中,我们对Spark Shuffle模块本身进行了优化,利用Java虚拟机堆外内存的直接映射取代Java虚拟机堆内存到本地内存的拷贝,以达到降低额外开销的目的。最后本文使用了目前流行并且开放的大数据测试用Benchmark——BigDataBench,在实际的装备Infiniband网络的小集群上对优化后的系统进行了测试。测试结果表明,相比优化前使用Socket通信的Spark系统,优化后的系统整体性能提升了16%左右。