高性能计算机技术是一个国家科学技术和经济实力的综合体现,并且是推进科学技术、经济实力发展,国家安全防范工作和社会各方面进步的重要工具。伴随着高性能计算机技术的不断进步,对计算机的运算精确度、处理速度等多种性能提出了越来越高的要求,所以以分布式技术和机群技术为基础技术的机群系统便慢慢的便成为了满足高性能数据处理要求的有效方法。数值计算中很多运算操作都要用到矩阵运算,所以说矩阵运算是数值计算中重要的操作之一,尤其对于高阶矩阵的运算,它的计算过程需要占用更多的处理单元和更大的内存单元,所以数值计算的效率会受到很大的影响。因此研究矩阵运算的并行是十分有意义的。本文先介绍了并行计算机系统,机群环境的搭建,并行算法等基础理论知识。然后介绍了MPI编程的基础知识,以及建立基于Windows平台的小型机群环境,紧接着系统讲述了矩阵转置,矩阵乘法,矩阵求逆并行算法及实现,最后总结了本论文所做工作的经验与不足,以及需要继续研究的问题。