论文部分内容阅读
在现代MPI并行应用中,聚合通信操作被广泛使用。聚合通信操作不仅在科学计算上占据大部分时间消耗(有时可高达70%),同时也为程序员提供更便捷编程接口。然而软件实现的聚合通信操作是基于点对点操作实现的,当系统增大时,由于通信步骤、计算数据量和通信距离都增加了,聚合通信的耗时增加的很快,因此其可扩展性很差。但应用程序却随着系统的增大对于可扩展性有了越来越高的要求,因此,对聚合通信进行优化变得也更加重要了。加速聚合通信操作的一个有效的方法是在网卡端使用卸载模式(offload),即在网卡端加入一些特殊部件来辅助处理机进行聚合通信的数据移动或者数据计算,也称为软硬件结合的聚合通信操作。“天河”高速互连网络使用在网卡端加入的触发逻辑来卸载处理机端的数据移动任务,本文即以“天河”高速互连网络为基础,研究MPI聚合通信优化方法,主要取得了如下成果:1)对α-β模型进行扩展,通过扩展的模型计算出基于点对点的聚合通信操作时延,与基于offload实现的聚合通信进行对比。经典的α-β模型只能适合聚合通信操作的定性分析,而不能进行定量的分析,扩展后的α-β模型能够对聚合通信操作进行定量分析,为后面与offload模式的聚合通信操作进行对比;2)提出基于offload实现的聚合通信评价模型,通过测试,能较好的预测实测数据,并为后面同步和广播操作的算法设计提供理论分析。基于offload实现的聚合通信操作评价模型的提出为之后我们在“天河”高速互连网络上进行聚合通信优化提供了理论依据,不仅如此,也指导我们后面的聚合通信操作的优化;3)对基于offload实现的栅栏同步和广播操作进行算法优化和测试分析并且对基于offload实现的收集操作进行算法设计。栅栏同步操作和广播操作为最常用的聚合通信操作,也可以应用于许多聚合通信,我们实现了k-ary树和k-nomial树两种算法的栅栏同步操作和广播操作,同时从理论和实际测试给出两种操作在性能取得最优值时的k值,根据理论模型,基于触发的聚合通信操作拥有良好的可扩展性;本文对扩展的α-β模型和基于offload实现的聚合通信操作评价模型进行了实验验证,实验结果表明两种模型均能较好的定量分析软件和基于offload方式实现的聚合通信操作,并且模型也为后面进行聚合通信操作优化提供理论依据。同时在64个节点规模时,基于offload的栅栏同步操作比基于点对点的栅栏同步操作性能提高了2.17倍,对offload实现的栅栏同步和广播操作进行优化,优化后的栅栏同步操作性能进一步提高1.1倍,广播操在性能提高1.46倍。