基于在网计算的MPI集合通信优化研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:zhaomingze2631539
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前云计算、大数据、人工智能等新兴信息技术产业正在飞速发展,对计算算力提升的需求越发迫切。但在为提升算力而不断增大高性能计算系统规模时,系统的互连网络也将相应变得越发复杂,从而使计算节点间的通信开销成为高性能计算系统的主要瓶颈之一。如在对高性能计算最常用的并行编程模型MPI的研究中,有研究表明,MPI集合通信对于高性能计算应用程序的性能有很大影响,约70%以上时间均用于集合通信,且随着系统规模的增大,通信开销也随之增加。因此,对通信进行合理地优化就成为当前面临的重要挑战。以往针对MPI集合通信的优化主要以软件优化方式为主,但其受算法性能提升上限的限制,无法不断提升通信性能。随着硬件设备技术的发展及相应可编程语言的出现,在网计算技术得到迅速发展。在网计算主要利用可编程交换机、SmartNIC等智能网络硬件设备的功能,将计算卸载到网络设备上进行,计算数据将在网络传输的过程中被处理,从而实现在高效利用网络设备高转发能力的同时降低通信开销和CPU负载。当前利用在网计算技术,通过扩展网络通信设备的功能,将科学计算任务中的计算从CPU卸载到特定的网络通信设备上(如可编程交换机),进一步优化通信成为高性能计算领域的研究热点。本文首先对中科大超算中常用的科学应用程序进行MPI通信特征分析,发现Allreduce集合通信在科学应用程序通信开销中占比达到50%以上。本文针对中科大超算科学应用程序中集合通信时间开销较大的问题,提出一种基于在网计算技术优化MPI集合通信,降低通信开销的方法。该方法通过以太网RoCE协议、可编程交换机及扩展在网计算功能模块后的MPI库,实现将MPI集合通信的计算卸载到可编程交换机上进行,使数据边传输边计算,最终达到降低网络通信时延和服务器节点计算负载的目的。本文针对该通信优化方法设计并实现了通用场景下的在网计算优化模式及在服务器有多个物理CPU且负载均衡场景下进一步提升通信性能的另一种在网计算优化模式,并通过中科大瀚海20超算系统对该方法分别进行在网计算两种优化模式下集合通信基准测试和应用测试实验。基准测试实验结果表明,本文在网计算方案相较于基于主机的通信,对于集合通信Allreduce的加速比最高为2.4,对于Barrier的加速比最高达3.1。应用测试实验结果表明,本文在网计算方案相较于基于主机的通信,在16节点下达到最高加速比为1.14。两种实验结果均证明了本文优化方法的有效性,为后续该领域相关研究提供了一定的参考价值,且本文的代码已开源在GitHub上。
其他文献
神经网络剪枝是神经网络模型压缩的常用方法之一,剪枝算法通过移除网络中的冗余权重实现模型压缩。通道粒度是神经网络剪枝粒度之一,通道级剪枝算法将每个滤波器中的权重作为整体进行移除,减少了卷积神经网络中的通道数量,降低了权重与输入特征图的计算复杂性。由于通道级剪枝保留了矩阵运算的结构化特性,使用通用软硬件,即可实现推理加速,因此通道级剪枝算法广泛用于卷积神经网络的模型压缩场景。绝大多数的神经网络剪枝方法
学位
目的 探讨基于家庭赋权的护理干预结合个体化饮食结构调整在尿毒症维持性血液透析患者中的应用效果。方法采用随机数字表法将80例尿毒症维持性血液透析患者分为对照组与观察组,各40例。对照组采用常规护理干预,观察组在对照组基础上加用基于家庭赋权的护理干预结合个体化饮食结构调整。比较两组的干预效果。结果 干预后,观察组的白蛋白(ALB)、前白蛋白(PA)、血清铁蛋白(SF)水平均高于对照组,心境状态量表(P
期刊
随着视频业务的兴起,移动流量需求飞速增长,无线通信系统需要实现千倍的网络容量增长。为了实现上述目标,许多先进技术如大规模输入输出(Mas-sive Multiple-Input Multiple-Output,massive MIMO)、毫米波(Millimeter Wave,mmWave)等得到了广泛研究。然而,高频的mmWave信号路损值极大,极易被障碍物阻挡;massive MIMO配备了大
学位
目的:1.通过蒙医针刺疗法对更年期综合征血清E2的影响研究来评价蒙医针刺疗法对更年期综合征的临床疗效,为临床上治疗更年期综合征提供参考。2.为防止更年期综合征进一步加重或并发其他疾病,提供非药物治疗的传统治疗方法。方法:从2020年12月至2022年01月就诊于内蒙古民族大学附属医院治未病科及妇科的45-55岁女性更年期综合征患者中筛选60名患者,将其随机分为对照组和治疗组,每组患者30名。对照组
学位
大数据时代,数据规模和维度与日俱增,对于高维大数据,如何以更低的计算成本估计数据集之间的距离、快速判断数据集之间的关系,进而帮助用户合理地做决策,具有重要的研究意义和广泛的应用场景。例如,在迁移学习中,选择和目标数据集之间距离小的数据集作为源数据集,可以有效地提升学习效果、节约计算成本。最优传输(Optimal Transport)是一种衡量分布之间距离的模型,因此,本文采用Earth Mover
学位
目的:蒙药哈日阿布日-16治疗慢性阻塞性肺疾病(敖西根阿日哈嘎巴达干盛型)的临床疗效观察及探索在分子生物学水平的作用机理。方法:收集2020年12-2021年12月期间在内蒙古民族大学附属医院蒙医呼吸科就诊的符合纳入标准的慢性阻塞性肺疾病(敖西根阿日哈嘎巴达干盛型)患者30例,作为研究对象,治疗方案:早晨:哈日阿布日-16,3g,晚上:哈日阿布日-6,3g。治疗一周,评估患者治疗前后临床疗效评价、
学位
目的:本论文通过问卷调查和田野调查,了解赤峰市蒙古族旗县缺血性脑卒中二级预防的现状,分析其赤峰市蒙古族旗县缺血性脑卒中二级预防的主要影响因素并提出相应对策,为赤峰市蒙古族旗县群体提高缺血性脑卒中二级预防疗效提供参考。方法:以缺血性脑卒中二级预防指南为框架,经脑血管病专家咨询拟定问卷调查表。通过电子问卷调查的形式,对赤峰市蒙古族旗县的符合纳入标准的缺血性脑卒中患者,进行问卷调查。将数据用SPSS 2
学位
目的 探讨颅内血肿相关手术操作编码,提高编码的准确性。方法 掌握颅内血肿相关临床知识,理清编码思路,结合具体案例分析颅内血肿相关手术操作编码。结果 颅内血肿经抽吸编码于01.09,颅内血肿经切开、环钻等方法需区分血肿部位,硬膜外血肿清除术编码于01.24,硬膜下血肿清除术编码于01.31,脑内血肿清除术编码于01.39,去骨瓣减压是手术步骤的时候省略编码。结论 临床医师规范手术名称书写,病案编码员
期刊
随着中国经济的快速发展和经济全球化水平的提升,中小企业由于行业竞争激烈、资金不足等问题,存在发展速度缓慢、营销策略不够完善、品牌建设缺乏策略等问题,中小企业面临着很大挑战。为了改变这一现状,中小企业应该积极地寻求整合营销传播策略。本文分析中小企业实施整合营销中的困境,提出整合营销传播的有效思路,以及如何运用整合营销传播来实现快速发展,最后对中小企业如何通过优化和提升自身在市场拓展方面所采取的措施进
期刊
伴随信息革命的飞速发展,人类社会发展进程与速度正在被深刻影响,人们的生产生活方式正在被全面改变,人们的生活已经被在线社交媒体全面占据。然而,信息传播的便捷和低成本导致社交媒体上充斥着大量的谣言信息。谣言的泛滥影响了人们的日常生活,损害了社交媒体平台的公信度,造成了社会秩序的慌乱。如今,谣言泛滥造成的社会影响以及谣言检测的研究价值也引起了学术界的高度重视。尽管近几年谣言检测技术已经取得突破性进展,但
学位