现代科学技术的进步极大的促进了计算科学的发展。新一代的计算机无论计算能力和计算速度都比早期的计算机优越。但人类对高性能计算的要求也不断提高,在实践中,由于受到物理元器件极限速度和技术水平的限制,单个的处理器远远不能满足现代许多领域中具有挑战性的大规模计算课题对计算资源的需求,所以除了增强处理器本身的计算能力外,并行处理是一种提高计算能力的有效手段,所以对高性能并行计算进行研究是很有必要的。 从前,并行处理采用昂贵的专用计算机,随着个人计算机及其网络成本的下降,现已广泛使用分布式网络计算机系统进行并行处理。在分布式网络计算机系统中,采用消息传递方法实现进程间的通讯。当前流行的基于消息传递的并行编程环境是MPI(Message Passing Interface)和PVM(Parallel Virtual Machine),其中消息传递接口MPI以其移植性好、功能强大、高效等优点而成为目前最重要的并行编程工具。 本论文首先介绍了并行计算的基本理论,然后介绍了计算机机群系统和MPI消息传递机制。在此基础上,构建了基于windows和MPI的小型PC机群试验环境。针对物理学中导热问题的数值解法计算量大、单机计算负担过重的实际情况,分析了利用PC机群以及数值分析中的高斯·赛德尔算法求解高阶线性方程组的问题,并且利用并行环境中的并行程序的设计方法使用现在比较流行的C++的面向对象技术实现了这个算法,测试机群平台上分布式计算相对与单机计算的优势。文中给出了MPI程序设计方法的比较详细的介绍,论述了对高斯·赛德尔算法进行并行化的主要思想,并在对这个算法的实现过程中用到的各种方法做了简要分析,最后总结了本论文所做的工作,并指出有待于进一步研究的问题。