论文部分内容阅读
为了满足科学计算和商业应用日益增长的规模需求,计算机系统规模不断扩大。在现今的超算中心或数据中心,高性能互连网络需要互连高达数万甚至数十万个节点。作为计算机系统的传输中枢,互连网络正扮演越来越重要的角色。为了保证系统能不间断地提供高效服务,要求网络高可靠、高通量和低延迟。但是庞大的网络规模和复杂的应用环境,使得实现这些目标越来越困难。 本文以广泛使用的高性能树形互连网络为研究对象,对网络的可靠性保障、高通量传输和低延迟的集合通信技术进行研究,并取得了以下成果。 1)针对以胖树为代表的多根树的结构和路由特性的,提出了一种基于链路失效信息传播的分布式动态容错方法。对于m-Port n-Tree胖树,该容错方法可以在不增加硬件和不增加路由长度的情况下,实现任意m/2-1条链路失效,并依旧维持系统的高性能。 2)为了提高多根树网络的利用率和传输效率,提出一种自适应子流数的多路径传输方法,并实现了一个自适应多路径协议AMTCP。在胖树网络中的评测显示,与传统TCP传输相比,AMTCP可以提高30%以上的网络聚合吞吐率;与多路径传输协议MPTCP相比,AMTCP在性能胜出的同时,在典型负载下可以减少75%的子流数,从而大幅度地降低多路径传输协议的开销。 3)为了实现低延迟的集合通信,提出一种适合树形网络的基于交换机的集合通信加速技术,并设计和实现了一款支持Allreduce和Barrier的集合通信交换机。16节点规模的原型系统显示基于该交换机的集合通信具有优异的性能,短消息MPI Allreduce延迟为4.2μs,比标准软件执行快15倍;MPI Barrier延迟为2.4μs,比标准软件执行快45倍。 4)为了助力互连网络研究,开发了一款全系统互连网络模拟器DCNSim,该模拟器能模拟可配置的计算节点和网络设备,支持丰富的网络拓扑和协议,可以运行无修改的操作系统和应用,并支持分布式模拟。实验评测和应用实例显示,该模拟器具有高准确性和良好的扩展性,并可以被广泛地用于互连网络的研究。