高性能集群是由数量庞大的计算结点、存储结点,以及互连网络等构成的复杂系统。作业在集群系统上的详细运行过程处于一种黑盒状态。作业所使用CPU、网络、存储I/O等系统资源的细节信息无法被用户及集群管理员有效感知。当作业存在负载不均衡、I/O瓶颈等低效的运行模式时,用户及管理员无法及时发现问题,这严重阻碍了集群运行性能的最大发挥。因此能够提供一种有效判断负载均衡的方法至关重要,通过对高性能集群数据的综合分析,提出了综合负载识别算法寻找存在性能问题的计算结点。该算法能够识别出结点不同维度的性能异常,同时设计了基于力导向布局的作业负载均衡可视化图、统计结点问题的面积图、表现I/O波动规律的河流图等,方便运维人员操作,提升运维人员管理效率。在本文中对高性能集群可视化的国内外研究发展展开介绍,并根据研究总结了超级计算机集群负载问题和I/O性能等问题,也介绍了处理大量高性能集群数据和进行可视分析的挑战。面对这些问题挑战,本文提出了一个作业负载均衡评估算法用于评估作业负载不均衡度。本文提出了一个异常结点评估算法模型,为了更加有效地寻找一些异常的结点还设计了结点综合负载均衡评分算法,并且通过实验证明。根据集群数据分析结果,基于不同用户行为对异常作业进行分析和预测,取得较高准确度。最后,本文设计了用于探索大规模实时I/O性能数据的多种可视化分析系统,运用了边绑定算法进行可视化布局,并针对I/O空间突发问题提出聚类算法进行分析。综上所述提炼本文在以下几个方面的贡献点:1)大规模集群监控数据可视分析框架目前集群对作业的高效处理能力有待提升,作业在集群中运行处于黑盒状态,遇到的问题无法被感知。用监控数据可视化进行性能分析,是一种新方法,解决了作业在集群系统上的详细运行过程的黑盒问题。同时构建集群监控数据系统框架解决目前开源监控系统采集、清洗大规模数据的采集数据延迟、规模受限制、数据不能持久化等问题。可视化采用B/S系统架构模式,对集群上万个结点的多维度监控数据进行可视化分析,浏览器提供可视化结果显示和交互接口,服务端则负责绘制计算。需要研究高效的进行集群实时数据抓取、数据预处理、建立模型以及提高绘制效果,降低交互延迟,实现可视化框架,针对发现的性能问题提出可视分析手段。2)作业负载均衡和异常结点可视分析作业负载有多种类型,通过获取结点上百个维度数据中的某些维度如CPU负载、网络信息、能耗等参数可以来综合表征结点负载,对超算大规模多维度数据进行分析提出了作业负载评估方法,并基于力导向图布局设计了可视化模型。另一方法,分析一个作业里面相对负载不均的结点,分析研究某些资源损耗等原因引起的性能低效的结点,同时进行提出了结点综合负载均衡评分算法来寻找问题结点,最后进行可视分析,帮助管理人员进行设备维护。3)超级计算机I/O性能可视化分析通过对异常作业进行分析和预测,探究问题成因,发现大量的作业同时与同一存储结点I/O,易发生I/O竞争,需要分析存储结点I/O的大小和数量,评估竞争的大小。作业I/O如果分散到过多存储结点,它的并行度高但会与更多的作业竞争存储结点的资源,会对其他作业的运行产生不良的影响。运用可视化技术对大量的作业和存储结点的I/O进行可视分析,并设计了集群层级结构可视化图像,针对可视化图像的视觉遮挡问题,运用边绑定算法进行优化,另外面对超级计算机中I/O空间突发问题,设计了基于聚类算法进行可视分析。