在系统建模及运行过程中不可避免的会存在未知的模型误差、未建模动态、外界扰动等不确定性。在控制器设计时如果不充分考虑这些不确定性的影响,则被控系统的性能必然会变得很差,甚至可能会导致闭环系统的不稳定。此外,现代复杂的大规模控制系统可能有成百上千个执行器,系统运行过程中的执行器故障也无法避免。当执行器发生故障时,若不对其做出及时反应,则可能导致意想不到的后果。因此未知执行器故障系统的控制问题也越来越受重视,特别是充分考虑执行器自身固有特性(如常见的滞回、死区等强非线性)情况下的未知执行器故障的补偿控制研究更具有现实价值。本论文的研究对象为带有非三角结构不确定项的下三角非线性系统和存在滞回执行器未知故障的下三角非线性系统。首先,在控制器设计中充分考虑未知模型误差、未建模动态等引起的不确定性。这类不确定性在系统数学模型中表现为每个状态微分方程中的未知函数项。假设这些未知函数项的界函数依赖于系统所有状态(此类未知函数项被称为非三角结构不确定项),则非线性系统的下三角结构将遭到破坏,传统的Backstepping设计方法无法应用于此类系统的设计中。针对此类系统提出了新的基于Backstepping的鲁棒自适应控制器的设计方法。其次,针对滞回执行器未知故障的下三角非线性系统,分别基于Backlash-like滞回近似和滞回光滑逆,首次提出了滞回执行器未知故障的自适应补偿控制器的设计方法。主要的研究成果如下：(1)针对一类具有非三角结构不确定项的二阶非线性系统,提出了基于Backstepping万法的自适应控制器的设计方法。详细给出了自适应控制器存在的充分条件及控制器设计参数的选取规则。(2)针对一类具有非三角结构不确定项的n(n>2)阶非线性系统,提出了基于Backstepping的新的鲁棒自适应控制器的设计方法。有别于传统的Backstepping控制器设计方法,该控制器设计的关键在于通过调整虚拟函数的选取保障变换向量Z与系统状态向量χ之间的可逆线性变换关系,将所有非三角结构不确定性留到最后一步统一处理,从而提出控制器中设计参数存在的充分条件。(3)针对具有滞回特性执行器的非线性系统,考虑滞回执行器未知故障的自适应补偿控制问题。通过Backlash-like模型对滞回非线性进行近似,首先提出了传统的自适应控制器设计方法。由于传统自适应控制器中含有符号函数,使得该控制器不连续,这将导致可能的抖震现象。为了避免控制器抖震,构造了符号函数的光滑逼近函数,提出了连续控制器的设计方法。该连续控制器不仅能保证在滞回执行器故障情况下的系统稳定,还改善了被控系统的性能。(4)针对滞回执行器未知故障的非线性系统,通过构造未知滞回的光滑逆模型,利用光滑的逆消除滞回的影响,基于Backstepping方法提出了系统自适应控制器的设计方法。由于滞回光滑逆的引入,使得在控制器设计中未知滞回的结构信息被充分利用,因此改善了被控系统的性能。