小型无人直升机动力学模型具有非线性、欠驱动和非最小相位等特性,控制灵敏度高,抗干扰能力差,其自主飞行是一个极具挑战性的控制问题,经典与线性飞行控制系统的准确性和鲁棒性仍有较大的提升空间。本文以小型无人直升机系统平台为基础,采用非线性建模和非线性参数辨识方法建立数学模型,采用自适应鲁棒非线性控制方法设计控制器,致力于获得准确性更好、鲁棒性更强的飞行控制系统。主要内容和创新点如下:（一）提出了一种全新的基于主旋翼功率模型的辨识方法。该方法只需要在小型无人直升机垂向通道施加主动激励信号,使偏航动力学模型能够在垂向动力学模型的基础上辨识得到,减少了待辨识的参数,简化了辨识飞行实验,提高了辨识效率和安全性。提出了一种自适应差分进化辨识算法,在传统差分进化算法的基础上进一步提高了全局搜索能力,有效地避免了局部最优,可以快速地找到最优解。辨识所得非线性模型与实际系统相比具有较高的保真度。（二）针对传统自适应RBF神经网络控制方法计算量大、随着隐含层节点数的增加自适应律数量呈指数增长的缺点,提出了一种具有最少学习参数的自适应RBF神经网络控制方法。该方法只需要针对理想权值矩阵欧氏范数的平方设计自适应律,减少了机载系统的计算负担,兼顾了控制系统鲁棒性和工程可实现性。提出了简单且可逆的表达式,将非物理输入与物理输入关联了起来,突破了传统的姿态分布式控制结构,使无人直升机三维姿态一体化控制设计成为可能。仿真与实物实验验证了该方法的有效性和鲁棒性,实现了小型无人直升机强鲁棒、大包络的自主飞行控制。（三）提出了一种可指定收敛速度的自适应准最优高阶连续滑模控制方法。小型无人直升机动态响应快,对控制系统的快速性要求较高。该方法将系统模型转换为积分链形式,针对积分链系统设计了有限时间收敛的准最优控制,结合自适应高阶连续滑模多输入多输出控制可有效增强系统鲁棒性。该控制方法能够在有限时间内收敛并可指定收敛速度,不需要知道系统不确定性的界,自适应律解决了滑模增益过度估计的问题,同时具有抑制抖振的优点。姿态控制系统的快速性指标、带宽和相位延迟指标均达到了ADS-33E-PRF一级飞行品质标准,仿真与实物实验验证了整个控制系统的有效性和鲁棒性。