超级计算机自诞生起就一直活跃于地球模拟、生命科学以及先进制造等科学与工程领域,可以说它代表了一个国家在信息处理领域的综合实力。随着各国在超算上倾注了大量的人力物力,高端计算芯片和大规模集群技术的研究得以快速发展,超级计算机的计算能力也得到了指数级发展。算力的急剧提高对人工智能、脑模拟等新兴应用也起到了巨大的推动作用。但是与快速发展的计算能力相对的是,存储能力的发展仍然相对缓慢,存储系统与计算系统之间的性能鸿沟正变得越来越大。有诸多的研究表明,存储系统已经成为了制约应用扩展到更大规模的关键因素。为了满足各类高性能计算应用日益增长的输入输出（Input/Output,I/O）性能需求,超级计算机引入了许多新的存储技术以及新的存储介质,其架构也逐渐向多介质多层级的复杂架构演进。一方面,这种多层级的复杂架构提高了存储系统的服务能力上限,使其能够支撑种类繁多的高性能科学计算应用。另一方面,多层级的存储架构也带来了冗长的I/O路径,使得存储系统的有效利用更具挑战。更糟糕的是,应用间的冲突干扰、部分组件的性能异常等影响用户应用性能的问题在拥有复杂架构和深共享特点的超算存储系统中会更加的突出。与此同时,在多用户使用的动态运行环境下,问题现场难以复现,从而对用户定位性能问题带来了极大的困难,导致了用户无法对遇到的问题做出针对性的调整。因此,对用户来说,如何在多层级的架构下有效优化应用I/O性能已然成为了一个巨大的挑战;对于管理员来说,如何管理好多层级的存储资源也成为了一个严峻的挑战。为了解决以上挑战,帮助用户提升应用性能,帮助管理员优化资源配置,提高系统利用率,本文面向拥有多层级存储架构的超级计算机开展了端到端I/O性能实时监控及自适应I/O优化技术的研究,主要的研究成果如下所述:1.针对大规模计算集群由于架构复杂,负载不断变化导致问题热点难以定位或重现的问题,本文研究了面向大规模计算集群的I/O实时性能监控和分析的技术,提出了轻量级的端到端的透明采集,海量数据的存储与快速预处理以及多层级数据分析和异常自动检测等关键方法和技术,并设计实现了一个面向大规模计算系统的端到端的轻量级I/O性能监测与分析诊断系统Beacon+。Beacon+通过轻量级的后台采集程序对应用的I/O请求经过的I/O全路径进行了采集,同时可以以极低的开销进行大规模的扩展。此外,Beacon+已经实际部署到了多层级架构的尖端超级计算机神威太湖之光、神威下一代超级计算机以及传统两层架构的曙光“派”超级计算机上,充分验证了 Beacon+的可用性和通用性。2.本文对Beacon+收集的海量数据进行了深入的分析,揭露了许多超级计算机上的性能问题,为应用开发者优化应用性能,系统管理员提高系统利用率,系统设计人员设计更好的系统提供了借鉴。本文发现的问题主要包括:应用自身低效的I/O行为导致应用性能低下,应用间的冲突干扰导致应用性能频繁抖动,系统节点的性能降级导致应用整体性能受限,负载不均导致系统利用率低、应用性能不佳,系统参数的错误配置导致应用性能达不到预期等。3.针对应用自身I/O行为低下、扩展性不足,且现有中间件无法有效利用多层级存储系统等问题,本文研究了应用层的I/O自适应优化技术,提出了一种面向多层级存储架构的I/O请求调度方法,该方法引入了实时监控系统（例如:Beacon+）,可以获取实时的全局视图来进行动态的I/O请求调度,例如:空闲时快速输出,繁忙时通过内存缓存等。进一步,本文设计实现了一个基于实时监控系统的面向多维网格数据的高性能并行I/O中间件HPPIO。HPPIO不仅可以从源头帮助应用自适应的优化其I/O性能并充分利用多层级的存储系统,也解决了许多传统中间件在当前复杂存储系统下面临的问题,例如:无法有效利用多层级存储系统,缺少全局视图导致优化效果受环境影响往往大打折扣等。此外,HPPIO的部分设计已经在中国气象局的业务系统中正式得到了应用,这也验证了 HPPIO的有效性。4.针对应用间冲突干扰、系统节点异常、系统负载不均以及参数配置错误等问题,本文研究了系统层的自适应优化技术,提出了一个基于历史数据的作业I/O行为预测模型以及一个端到端的I/O自适应优化模型,并设计实现了一个基于实时监控系统的端到端的I/O自适应优化工具AIOT。它无需修改应用代码,可以通过系统级的优化策略来帮助提高应用的性能,极大的免去了用户使用的学习成本。AIOT既可以为作业选择最优的I/O路径来避免资源竞争冲突、合理地调度存储资源,也可以在存储系统的多个层级上为作业进行配置参数的调整来提高其性能。通过在神威太湖之光的部署测试,验证了 AIOT不仅可以提高应用的I/O性能也可以提高存储系统的资源利用率。