低延迟高带宽的RDMA(Remote Direct Memory Access)传输网络和NVMe(Non-Volatile Memory Express)SSD(Solid-State Drive)等高性能存储设备的出现,给传统存储系统带来了严峻的挑战。存储系统需要优化其软件栈来适应新设备带来的高性能。RDMA有迥异于TCP的调用接口、更加高效的使用方式,同时也有特殊的缺陷。高性能存储系统的软件栈需要针对RDMA的特殊性进行优化,才能达到理想的I/O延迟。RDMA注册内存的合理使用、RDMA NIC(Network Interface Card)与CPU的交互效率、RDMA处理消息采用的线程模型都会影响采用RDMA的存储系统的I/O延迟。针对分布式NVMe块存储系统中数据I/O延迟在RDMA层面的优化进行研究,讨论了如何实现低延迟的RDMA数据传输。主要从四个方面对RDMA的使用进行优化:1.比较数据I/O过程中的RDMA网络交互模型的不同实现,并通过WRITE_WITH_IMM进一步简化网络交互模型,降低RDMA的网络延迟;2.评估本地内存拷贝的时间开销,并分析I/O路径中普遍存在的内存拷贝开销,通过复用RDMA内存,减少内存拷贝次数;3.使用类SPDK的线程模型,减少线程切换引入的延迟开销。4.部分修改上层应用交互协议,利用imm_data和inline优化RDMA的使用,降低NIC发起的DMA次数。通过对比每个优化措施优化前后的延迟变化,以及将合并的优化方案与Ceph RDMA的实现进行延迟对比,结果表明,选用合适的RDMA READ/WRITE操作可以优化网络交互流程,有效降低网络往返和RDMA软件栈带来的延迟;减少I/O路径上的内存拷贝次数能有效降低大块数据的传输延迟;使用imm_data和inline能够小幅度降低延迟;避免过多的线程切换是RDMA低延迟的保证。相较于Ceph RDMA实现,合并优化方案对16KB以下小块数据传输延迟能够降低34%~54%,对16KB以上大块数据能降低33%以上,且数据量越大,降低延迟越多。