在工业过程控制、机械臂控制、无人机控制等实际的系统中,大部分被控对象都是非线性的,它们一般具有高阶、耦合性强以及易受外界扰动影响的特点,同时难以针对它们建立准确的数学模型,如何对这类非线性系统进行控制一直是控制领域的一个难点问题。而目前实际的控制系统仍普遍采用PID控制器对系统进行控制以达到期望的状态。但是随着工业化复杂程度的提高,PID控制器已无法满足系统较高控制精度和控制效率的要求。同时,现代控制理论发展迅猛,涌现了一系列值得借鉴的非线性控制器的设计框架,随着控制理论逐步与人工智能等技术相结合,为现代控制理论替代传统PID控制提供了重要的思路。针对复杂非线性系统的控制,本文利用高阶微分观测器（HOD）估计精度高、调节参数少等特点,实现对被控对象各阶状态变量的估计。同时考虑到滑模控制计算量小、鲁棒性强的优点,通过将HOD和滑模控制相结合的形式,有效处理被控对象中参数的不确定性以及外界扰动所带来的不利因素。在此基础上引入滤波器、径向基神经网络等方式实现对系统的未知模型、外界扰动的估计,使得控制器在设计的过程中无需利用被控对象的具体模型参数。论文的主要研究内容包括:（1）对高阶微分观测器展开研究。详细介绍了HOD的设计过程,通过根轨迹法分析了HOD的稳定性并简化了相应的参数,基于BODE图说明了HOD的低通滤波特性,并通过仿真对比实验进一步验证了HOD较强的滤波特性以及高精度的估计效果。（2）针对单输入单输出的高阶非线性系统,在HOD的基础上设计了无模型滑模控制器,通过引入一种新型的单幂次趋近律,抑制了滑模控制所带来的抖振现象,同时设计了低通滤波器对系统的未知项和外界扰动进行补偿。在所设计的无模型滑模控制器对二阶的Duffing系统取得不错的控制效果后,进一步将其应用到四阶的自动电压调节（AVR）系统中,仿真结果表明所设计的控制器能够使AVR系统的电压稳定输出,且受干扰噪声的影响较小。（3）针对多输入多输出的欠驱动系统——四旋翼飞行器,提出了基于HOD的无模型四旋翼RBF滑模控制器。通过设计两个虚拟控制量的方式,将四旋翼系统解耦为六输入六输出的全驱动系统,并将位置通道、高度通道以及偏航角通道的未知项统一归为总扰动,利用RBF神经网络对各个通道的总扰动进行估计,并基于李雅普诺夫定理证明了控制器在一定参数范围内稳定。通过静态、动态轨迹跟踪实验说明了所设计的控制器跟踪能力强,对外界干扰有明显的抑制作用。