倒立摆系统是一个复杂不稳定的、带有非线性和强耦合特性的机械系统，它的稳定控制是控制理论应用的一个典型范例。倒立摆系统存在严重的不确定性，一方面是系统参数的不确定性，另一方面是系统受到不确定因素的干扰。本文主要对倒立摆系统的实验和倒立摆系统的非线性理论这两个方面进行研究。在倒立摆系统的实验研究方面，利用现代控制理论，对一级倒立摆，二级倒立摆和基于倒立摆的移动机器人等三个完整系统进行控制。在倒立摆系统的非线性理论研究方面，对一级倒立摆运动方程进行了的基于线性和非线性两种假设分析，得出了确保系统稳定可控的取值域。 本文的研究内容和所取得的成果主要有以下几个方面： (1)综述了倒立摆系统的研究历史和现状，介绍了与倒立摆相关的一些基本概念。总结了近年来国内外对倒立摆系统力学性能、控制理论以及应用方面的研究进展和取得的成果，介绍了在倒立摆的理论研究中常用的一些理论方法。 (2)详细阐述了一级倒立摆硬件实验平台的搭建过程和控制算法的实现过程。运用机构学优化一级倒立摆的实验平台，在确保实现功能的前提下，尽可能降低成本；运用LQR(线性二次型)和模糊控制等现代控制理论对一级倒立摆系统进行控制。 (3)阐述二级倒立摆硬件试验平台的搭建过程和控制算法的实现过程，用LQR方法对二级倒立摆进行控制，使其具有较强的鲁棒性。最后，对基于倒立摆原理的移动机器人进行实验探究，使其初步达到预期效果。 (4)通过对一级倒立摆系统进行数学建模，研究了基于线性假设和非线性假设的带反馈的倒立摆系统的非线性动力学。运用非线性动力学分析倒立摆系统的运动过程，并用MATLAB软件进行仿真，再用模糊理论对一级倒立摆系统进行分析。最后，得到参数处在哪个取值域时可以使倒立摆系统在理论上达到稳定，对动力学和模糊理论两种方法得到的结果进行比较，得出对实验具有指导性的分析结果，避免了在控制实践中，单纯依靠经验寻找参数取值的弊端。