面向LICOM3系统的I/O并行优化研究与实现

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:wuang810
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,全球变暖在灾害的频度和强度方面的影响均有所增加,发展高精度的地球系统模式对于预测恶劣气候、减少极端天气带来的负面影响具有重要意义。随着模式的精度越来越高,模式的分辨率以及模拟进程数也随之增加,虽然随着大规模超级计算机等的发展,高性能计算得到了长远的进步;然而模式的I/O部分仍然会占用较多的运行时间和资源,从而影响程序运行效率。针对地球系统模式存在的普遍I/O问题,本文全面分析当今几种主流的I/O方法及I/O中间件,根据地球系统模式的典型I/O特点,以LICOM3(LASG/IAP Climate System Ocean Model Version 3)系统为研究对象,全面分析其I/O模块和存在的I/O瓶颈,实现了水平10公里分辨率下ADIOS(Adaptive I/O System)和MPI-IO两种并行I/O优化方案。对于ADIOS,本研究采用POSIX方法和MPI方法提升并行I/O性能,前者进程和输出文件是一一对应的关系,后者一个通信组内的进程对应一个输出文件。对于MPI-IO,本研究采用聚合I/O函数和文件视口与分布式数组相结合的方式提升I/O性能。此外,本文进一步在天河HPC2系统公网下进行大量测试,探究I/O性能的影响因素,从而提出适合地球系统模式通用的高性能I/O优化方案。实验表明:当进程数达到4K规模的时候,串行模式下I/O部分的占比高达50%;而在320-4400核数下ADIOS优化方案的I/O占比均不超过10%,写带宽最高可达56.74GB/s,MPI-IO优化方案I/O占比均不超过25%。两种I/O优化方案的性能均显著优于串行I/O访问模式。
其他文献
背景和目的:植酸酶能够在温和的条件下水解植酸,释放磷酸基团。因此,这类酶被广泛应用于动物饲料中,用来减轻植酸的抗营养作用,以及减少动物排泄物中的植酸含量,减少环境污染
微纳米机器人是在微米、纳米尺度,利用外部物理场或化学场实现运动的功能性器件。微纳米机器人可以在液体介质中执行复杂的任务。目前已经在药物输送,污水处理,活体检测等多
现代经济建设,离不开工业化的发展,而工业化的发展在给人类带来巨大经济效益的同时,也带来了各种各样的生态问题,而首当其冲的,当是水污染。因此本文尝试制备一种能治理水污
粘附开口膜泡的研究在生物学及其医学方面具有重要的意义,以往人们对粘附闭合膜泡做了深入的研究,而Dong Ni等人研究了粘附开口膜泡的形状方程,并且找到了外凸的杯形解。梁月
现代软件工程技术在电网稳控系统中的研究与应用课题,主要是利用软件系统技术解决电网近几年由于新能源发电、并网的增多导致电网在切机的过程中造成电网不稳定,大面积停电甚
海面风作为海洋与大气相互作用的主要纽带,调节和控制着海洋与大气的运动变化过程,与海洋中几乎所有的海水运动直接相关。因此,准确地获取海面风场信息,对推动海洋技术与经济
随着社会经济的发展,道路交通堵塞,拥挤,安全等已经成为社会普遍关注的问题,交通标志实时识别系统可以加强车辆、道路、驾驶员三者之间的联系,从而形成一种保障行车安全、解
低空目标检测与参数估计是现代雷达领域一直以来没有很好解决的疑难问题,其主要难点体现在:存在多变的强地杂波、复杂的电磁环境的干扰以及目标的强机动性和低雷达反射截面积
游戏控制器作为一种用来控制视频游戏的设备,已经进入了大多数掌机游戏爱好者的生活。技术更新日新月异,人们的生活明显改善,游戏玩家对游戏控制器的品质和体验要求也越来越
印染工业高速发展为我国带来巨大经济效益、满足人们对纺织品各方面的需求的同时也对环境造成了严重破坏,产生了大量高盐、高碱、高色度、难处理的印染废水,不仅大大降低水体