大规模稀疏线性方程组的求解是偏微分方程数值方法最基本的组成部分,在现代科学与工程应用中扮演着不可或缺的角色。随着高性能计算技术的不断发展,现代科学与工程应用逐渐向大规模、高精度方向发展,研究面向异构系统的大规模稀疏线性方程组并行求解算法,支撑现代科学与工程应用实现大规模、高精度数值模拟,已经成为偏微分方程数值方法所面临的重要挑战和迫切需求。本文面向异构超级计算机系统,研究了大规模稀疏线性方程组的并行直接求解算法和迭代求解算法,本文完成的主要工作包括:（1）面向神威异构系统,提出了一种基于LU分解的大规模稀疏线性方程组异构直接求解算法。分析了直接求解算法各步骤的算法特点和耦合性,针对基于多层图分割的排序算法、基于LU分解的数值分解算法和三角求解算法的计算特点,分别提出了计算块异构并行策略和计算任务异构并行策略。基于计算块异构并行策略,提出了基于多层图分割的异构并行排序算法;基于计算任务异构并行策略,提出了基于LU分解的异构并行数值分解算法和异构并行三角求解算法。同时,提出了计算块异构并行算法和一系列矩阵-矩阵运算、矩阵-向量运算异构并行算法。分别使用佛罗里达稀疏矩阵数据库和实际应用模型进行了数值实验,实验表明,本文提出的异构并行算法显著提高了直接求解算法的计算效率。（2）针对直接求解算法的通信效率和通信瓶颈问题,分别提出了二叉树通信模型和分组通信模型,并且使用佛罗里达稀疏矩阵数据库进行了数值实验。实验表明,二叉树通信模型显著提高了直接求解算法的通信效率;分组通信模型突破了大规模全局通信的内存瓶颈问题,提高了算法的并行可扩展性。（3）针对直接求解算法的最优排序算法和最优参数选择问题,通过广泛的分析和实验,实现了面向神威异构系统的排序算法调优和分解算法参数调优。（4）针对超定稀疏线性方程组的并行求解问题,提出了新的并行随机迭代算法。针对随机迭代算法计算密度低、紧耦合性强、难以实现并行计算的特点,分别提出了贪心采样策略和延时近似策略,实现了算法的解耦,显著提高了算法的并行计算效率。此外,还提出了一种残差估计策略,显著减少了计算残差所需要的额外计算成本。使用超定随机线性方程组进行了数值实验,实验表明,本文提出的并行随机迭代算法显著优于并行Krylov子空间算法。