水轮机调节系统是一个非常复杂的非线性动力系统。本文以变顶高尾水洞水电站为研究对象,采用刚性水击、非线性水轮机模型和三阶发电机模型,建立了水轮发电机组的非线性数学模型。本文首先研究了水轮发电机组非线性动力系统的分岔现象,再运用改进粒子群算法进行了PID参数整定,最后运用模糊控制和滑模控制理论设计了模糊滑模控制器,实现水轮发电机组的稳定控制。运用Hopf分岔理论研究了水轮发电机组非线性动力系统的分岔行为,并确定了系统的稳定域。结果表明,动力系统的分岔是亚临界的。在稳定域的基础上,运用改进粒子群算法进行了PID参数整定,并进行了仿真试验。结果表明,改进粒子群算法可以用于水轮发电机组的PID参数整定,并体现出了该算法的优越性。以模糊控制和滑模控制理论为基础,设计了变顶高尾水洞水电站水轮发电机组非线性动力系统的模糊滑模控制器,并进行了仿真试验。结果表明,设计的模糊滑模控制器实现了水轮发电机组的稳定控制,效果良好。