无人直升机具有可垂直起降、机动灵活、体积小、负载量较大、可低空飞行的优点,引起越来越多研究人员的关注,并已在许多领域得到了成功应用。但其难以建立精确的系统模型,且具有非线性、欠驱动性、强耦合性、静不稳定性等特点,以及其在飞行过程中不可避免要受到外界干扰的影响,这都为其控制器的分析和设计增加了难度。本文以小型无人直升机为控制对象,针对其姿态控制问题,提出了两种控制算法,并严格证明了所提出控制算法的数学稳定性,通过数值仿真和飞行实验来对所设计的控制算法进行验证。具体内容有:首先,由于直升机空气动力学的复杂性和不确定性,难以获得较为精确的动力学模型,本文在详细分析无人直升机飞行动力学的基础上,合理简化旋翼动力学和旋翼挥舞动力学模型部分,得到了面向控制器设计的动力学模型,为控制律的设计做准备。其次,针对小型无人机的姿态控制问题,为补偿系统参数不确定性和外界扰动的影响,本文设计了一种连续的非线性鲁棒控制器,实现对无人机姿态角的渐近跟踪控制。该方法利用神经网络估计系统不确定性,采用一种基于误差符号函数积分的鲁棒控制算法来抑制外界扰动,同时补偿神经网络估计误差。利用基于Lyapunov函数的分析方法,证明了所设计控制器的闭环稳定性,确保无人直升机姿态误差的半全局渐近收敛。最后在无人直升机飞行控制实验平台上,进行了无人机姿态控制实验。实验结果表明,文中提出的控制方法具有良好的控制效果,对系统不确定性和外界扰动具有良好的鲁棒性。最后,本文使用基于强化学习的方法来设计自适应控制律。该方法使用执行网络来在线估计系统不确定项,通过评价网络来优化跟踪性能,并利用增加鲁棒项的方法来抑制外界扰动,同时补偿神经网络估计误差。基于Lyapunov分析方法对闭环系统的稳定性进行了理论分析和证明,得到了半全局指数收敛的结果。最后在无人直升机飞行控制实验平台上,进行了无人机姿态跟踪控制实验。实验结果表明,该算法具有良好的姿态跟踪控制效果。