论文部分内容阅读
在当今的大数据时代,大数据处理的实时性对存储系统的带宽和延迟提出了更高的要求。新型存储介质在为存储系统的性能提升带来新契机的同时,也为计算机系统的软硬件设计帯来了新的问题与挑战,使用传统的存储协议和接口技术限制了新型存储设备的潜能。闪存技术的成熟应用催生了NVMe(Non-volatile Memory Express)存储设备,PCIe(Peripheral Component Interconnection Express)接口和NVMe协议的高效组合,在降低存储访问延迟的同时提升了I/O吞吐率,在数据中心中得以广泛应用。然而,受限于PCIe总线的扩展性,NVMe协议不适用于大规模的跨网存储访问。同时,随着NVMe存储设备访问速率不断提升,使用传统的存储和网络分离架构,存储协议栈开销和网络处理开销成为严重的性能瓶颈。将NVMe协议基于RDMA(Remote Direct Memory Access)网络扩展的NVMeoF(NVMe over Fabric)存储网络协议应运而生,为数据中心构建高性能易扩展的网络存储系统提供了有效的技术途径,成为未来发展趋势。因此,NVMeoF网络存储协议及基于硬件的协议卸载技术具有重要的研究意义和应用价值。论文研究工作主要包括:1.论文对NVMe协议和基于RDMA网络扩展的NVMeoF协议进行了深入研究与对比分析。研究分析了NVMeoF、RDMA网络协议栈及网络传输技术。2.研究了NVMeoF协议的软件实现技术,分别基于Linux内核和SPDK(Storage Performance Development Kit)两种方式实现了NVMeoF网络存储系统,并对其实际性能进行了实验评测。3.设计了NVMeoF协议的硬件卸载机制。基于软件实现的NVMeoF协议,CPU和系统内存需要参与NVMe存储访问流程,多个NVMe设备的并发访问进一步加剧CPU和系统内存的占用率,并且NVMeoF数据需要缓存到CPU挂载的内存,导致与后端NVMe设备争用CPU带宽。本文研究设计了NVMeoF协议的硬件卸载机制,在硬件平台中实现关键控制通路和数据通路相分离,建立存储和网络间数据交换的直通管道,实现旁路CPU和内存的远程数据直通访问机制,减少数据拷贝和软件开销,提高数据传输效率。本文基于FPGA开发板,构建了NVMeoF协议硬件卸载实验平台,对网络存储延时、IO吞吐率(IOPS)和读写带宽进行了性能评测。相比软件实现,硬件实现方式具有性能高和资源占用率低的优势,具有参考应用价值。