随着科技的日新月异,人们对控制系统的性能提出了越来越高的要求。众所周知,在考虑实际系统的模型误差、干扰以及未建模动态等不确定因素影响时,控制系统一般被描述为具备不确定性的非线性系统。对这样的复杂系统,设计能够保证控制性能的控制器,非常具有挑战性,并且有许多问题亟需进一步研究和完善。本文结合微分几何的相关数学工具,针对上述问题进行了深入的研究,研究的主要工作集中在以下几个方面。首先,研究了具有“集中的不确定性”的SISO非线性系统的指定性能控制问题。基于微分同胚变换,使指定性能的误差转化为无任何限制的误差,并获得了转换后误差系统可控性不变的证明。通过误差转化将指定性能控制问题转化为新系统的有界性问题。这种设计方法能够降低控制器的复杂性,并且保证输出跟踪误差满足指定性能。其次,研究了具有不确定性和输入饱和的MIMO非线性系统的指定性能控制问题。针对MIMO系统,提出新的同胚误差变换方法用以解决指定性能问题。对于转化后的系统,利用扰动观测器有效地获得不确定性的观测值,进而在控制器设计中消除其影响。通过引入辅助系统,分析并补偿输入饱和对系统的负面效应。所提出的设计方法不仅可以简化控制器结构,而且能够保证输出误差满足提前指定性能和闭环系统的所有信号是全局有界性。再次,研究了具有不确定参数的MIMO非线性系统的能够保证控制性能的控制问题。基于反馈线性化理论,将具有不确定参数的非线性系统分解为一系列的受扰动的线性子系统。设计常值的扰动增益矩阵,使不确定参数的影响在输出环节能够完全消除。与此同时,利用李导数能够获得不确定参数的估计。此外,当不确定参数不存在时,能够保证标称系统的原有控制性能,这是该方法优越于一般鲁棒性方法的地方。然后,研究了具有参数不确定性和全状态受限的非线性系统的指定性能控制问题。目前对于控制系统的全状态受限问题的研究方法,主要是障碍李雅普诺夫函数,这种方法设计的控制器结构繁琐且不易构造。本文基于微分同胚理论,提出了一种新的思路用以解决障碍李雅普诺夫函数方法中存在的问题。这种同胚变换方法与自适应控制相结合,能够在不确定参数存在时,保证系统状态在指定范围内且输出跟踪误差满足指定性能。最后,研究了基于李群方法的对一类不确定非线性系统进行建模和设计问题。非线性系统的状态空间的实质是微分流形,因此在流形上直接对控制系统建模能够避免向量空间上系统模型的局部性问题。针对李群上具有群不变性的刚体转动姿态系统方程,本文提出了一种自适应不变观测器设计方法,能够在消除系统不确定性的同时,保证观测器群不变性。所设计的观测器具有很强的鲁棒性和全局指数收敛性。综上,本文针对具有不确定性的非线性系统,利用同胚变换、李导数和李群等微分几何工具,研究了能够保证系统性能的控制设计问题。同时,对系统可控性问题、输入饱和问题及状态受限问题进行了深入地研究,逐步完善和扩充了一些现有的成果。