自适应光学(Adaptive Optics,AO)系统能够补偿光学波前在传输过程中由介质变化或者光学系统内部扰动引起的随机波前畸变,提高成像分辨率或者激光光束质量。波前控制技术是AO系统的关键技术之一,直接决定了系统的校正性能。波前控制主要包括倾斜镜和变形镜两个控制回路,分别用于校正波前的整体倾斜和高阶像差,二者相互独立,可以分开进行研究。目前AO系统中主要采用积分控制设计控制器,因为其结构简单,易于实现,但是这种方法难以同时保证系统的稳定性和校正性能的最优,并且对于多回路的复杂系统,调整非常困难。为了提高系统的性能,多种现代控制方法被引入到AO系统中进行研究,比如自适应预测控制和最优控制等,但是这些控制方法对系统模型和湍流模型的依赖性很高,在受到不确定性影响时,难以保证系统的稳定性和校正能力。针对这些问题,本论文提出在AO系统中进行鲁棒控制技术的研究,期望可以同时提升系统的鲁棒稳定性和校正性能,并且对于AO系统的部分单元失效的情况,提出采用0-1故障模型来描述系统的故障状态。本论文围绕系统的稳定性问题,开展了以下的研究内容:第一,对系统中可能存在的不确定性进行讨论,建立了系统的不确定性模型。本文从波前复原算法、SVD解耦算法和信号传输的时间延迟三个方面讨论了AO系统的静态特性和延时特性。将AO系统中可能存在的不确定性归结为控制回路的增益不确定性和延时不确定性,建立了AO系统的数学模型,作为鲁棒H_∞控制器设计的基础。第二,针对AO系统的单输入单输出(Single-Input-Single-Output,SISO)控制回路设计H_∞控制器,通过频域和时域仿真分析验证算法的有效性。由于AO系统的输入输出规模比较大,直接设计控制器非常复杂,也会大大增加波前复原的计算时间和硬件设计的难度,并且降低系统的实时性要求。因此,本论文采用解耦算法将AO系统分解成多路平行的SISO控制回路,再针对各回路独立设计SISO控制器。根据工作情况的不同,AO系统包含仅存在增益不确定性和同时存在增益和延时不确定性两种情况。本论文在这两种情况分别设计H_∞控制器,频域分析和湍流校正仿真证明,该算法可以在不损失校正能力的前提下,提高系统的鲁棒性和稳定裕度。与积分控制相比,在仅存在增益不确定性的情况下,系统的鲁棒稳定性指标由0.6336下降为0.4398,相位裕度有最大8.659°的提升。在同时存在增益和延时不确定性的情况下,系统的鲁棒稳定性指标由0.4375下降为0.3821,相位裕度最大有10.4975°的提升。而系统的校正能力在增益变大和延时变大的情况下还有一定的提升。第三,在多输入多输出(Multiple-Input-Multiple-Output,MIMO)控制回路中,验证H_∞控制的校正能力和稳定性。AO系统是典型的MIMO控制系统,因此必须在MIMO控制回路中验证算法的有效性。本论文利用matlab工具箱产生大气随机相位屏模拟数据作为输入,采用61单元变形镜和80个子孔径的哈特曼的AO系统作为仿真对象,进行湍流校正的模拟仿真。结果表明,在仅存在增益不确定性和同时存在增益和延时不确定性两种情况下,H_∞控制都可以提升AO系统的稳定性,并且不损失校正能力。当系统为设计状态时,积分控制的残差波前的RMS值略小,PV值略大,两种控制方法的校正结果非常接近。当增大系统的不确定性范围到一定程度时,积分控制不能保证系统的稳定,而H_∞控制虽然校正性能下降,但是仍然使系统稳定运行。仿真结果与预期相符,说明算法有效。第四,对AO系统存在部分单元失效故障的情况,提出采用0-1故障模型进行建模,以有效描述AO系统故障状态。在正常的工作状态下,AO系统的传统模型可以很好的描述系统的工作状态,并且保证系统的工作稳定性。但是当AO系统存在部分单元失效故障时,传统模型并不能正确反映系统的故障状态,因此难以保证系统的稳定运行。对此,本论文提出采用0-1故障模型对AO系统部分单元失效的情况进行建模,利用两个对角开关阵描述哈特曼传感器的子孔径和变形镜的驱动器的状态,可以有效的描述AO系统部分单元的失效情况。仿真和实验结果表明,当AO系统发生部分单元失效时,在传统模型下控制电压发散,系统不能稳定工作,而采用0-1故障模型虽然校正能力有所下降,但仍然可以稳定工作,达到了预期效果。本文对AO系统中鲁棒控制技术的研究显示出该方法可以提升系统的稳定性,并且不损失对畸变波前的校正能力,具有重要的实用价值和理论意义。本文还提出采用0-1故障模型对AO系统部分单元失效的情况建模,可以有效描述哈特曼传感器和变形镜驱动器的失效状态,具有明显的工程意义,并且该模型也可以应用于容错AO系统和智能AO系统的研究,具有一定的理论意义。