并行计算系统中资源的负载平衡是关系到并行效果的一个极为关键的因素，如何能充分利用并行计算系统中的资源更好的进行并行计算的问题，将参与机能统一的调度和管理起来，使任务的分配和执行达到最优或接近最优，是提高并行计算整体性能的有效途径。在并行计算系统中，探索负载平衡问题具有重大的现实意义，而实现负载平衡是并行系统的重要目标。 本文详细讨论了负载平衡的相关理论。在讨论负载平衡思想及策略的基础上，提出了充分利用轮询策略、优化任务分配策略、减少结点通信频率等一些行之有效的提高负载平衡的方法。在不同系统，不同应用需求状态下，针对不同的实现策略，灵活选择静态或动态两种不同的负载平衡实现策略；根据不同的任务类型，采用多种策略相结合的方式处理负载平衡问题，以达到理想的效果。 在综合分析现有动态负载平衡理论的基础上，提出引入优先权值的概念，并设计出基于优先权值的混合调度算法，并对整个算法进行论证和性能分析。最后通过矩阵向量乘法的并行实现分析了特定状态下的负载平衡状况。