由于性价比高、计算能力强,多核多节点超级计算机已成为高性能计算的主流。但仅仅依靠多核多节点超级计算机的高机器性能并不能从根本上解决复杂结构有限元数值仿真的大规模计算问题,只有研究合适的并行计算方法才能有效提高工程分析的质量和效率。本文结合上海超级计算中心的“Dawning 5000A”高性能计算平台,研究了有限元结构分析多层并行计算方法,并在具体工程实例的应用中得到了验证,主要研究内容包括:研究了高效求解有限元结构静力分析问题和动力分析问题的并行计算方法。针对传统区域分解法利用大量处理器内核进行大规模并行计算效率低的问题,提出了一种多层并行计算方法。该方法在区域分解法的基础上利用两级分区和两次缩聚策略进行求解。它首先通过两级分区为并行计算准备数据,以确保多核多节点超级计算机节点间和节点内工作载荷的均衡。然后在并行计算的过程中一方面通过两次缩聚大幅度降低了求解问题的规模,有效提高了界面方程的收敛速度;另一方面通过多层并行计算机制实现了对节点间和节点内通信的分层处理,有效提高了系统通信效率。数值试验结果表明:本文提出的多层并行计算方法同传统区域分解法相比能够获得较高的加速比和并行效率,并且核数越多效果越明显。研究了高效消去子区域内部自由度的缩聚算法。在二级子区域的缩聚过程中,基于稀疏存储技术和稀疏直接求解器设计了一种行压缩存储格式缩聚算法。它将缩聚过程转化为一系列线性方程组的求解过程,并通过稀疏直接求解器进行求解。由于采用稀疏存储技术实现了只对刚度矩阵中非零元素的存储,并在利用稀疏直接求解器求解线性方程组的过程中通过填充-约化排序有效降低了系统的内存需求和计算量,因此它具有所需内存空间小、计算效率高和易于编程实现的优点。在一级子区域的缩聚过程中,对传统变带宽格式缩聚算法进行了并行化改进以使节点内的所有进程都能参与相应一级子区域的并行缩聚,从而有效利用了节点内的多核计算资源。开展了有限元结构分析高性能计算软件的开发和集成。为降低系统开发成本,提高软件开发的质量和效率,提出了基于串行有限元自动生成平台进行二次开发的方案。从软件工程的角度进行了软件总体设计,包括总体实现方案的确定和系统功能结构设计。基于模块化程序设计方法给出了系统四个主要功能模块,即输入/输出模块、形成数学方程模块、求解数学方程模块和计算应变应力模块的详细实现流程。根据模块间的接口规则和相互调用关系实现了系统集成。该软件开发方案为超级计算机应用软件的开发探索了一条新途径。开展了有限元结构分析高性能计算软件的大规模工程应用。以上海市闵浦二桥为结构静力分析的工程应用对象,基于全三维拟实建模方法建立了全桥有限元数值仿真模型。以某高层建筑为结构动力分析的工程应用对象,建立了爆炸冲击波对高层建筑物作用的有限元数值仿真模型。应用开发的软件在上海超级计算中心的“Dawning 5000A”高性能计算平台上完成了这两个模型的有限元数值仿真大规模并行计算。对多层并行计算方法和传统区域分解法的计算结果以及并行计算程序的性能进行了比较分析,验证了本文提出的多层并行计算方法的正确性、可靠性和有效性。