自适应光学(AO)系统能够补偿由于大气湍流以及光学系统内部扰动造成的随机波前畸变，其控制过程主要包括对变形镜和倾斜镜的控制。AO优化控制技术是使系统发挥最大校正性能的有效手段。然而，采用经典比例积分控制方法的常规AO系统，由于系统延时以及校正器件特性的限制，对宽谱的大气湍流以及高频振动校正能力不足。针对上述问题，本文主要开展了以下几项研究:优化信标及波前探测工作模式，从根本上减小时间延迟;设计高频窄带扰动的抑制算法，优化倾斜镜控制回路;提出嵌套双AO系统控制结构，优化其匹配工作方式;提出一种基于风速估计的预测控制方法，提高系统校正带宽。　　AO系统需要信标光来探测波前信息，不同的信标及波前探测模式对系统的带宽和稳定性等性能指标有较大影响。研究系统的性能对合理设计与评价AO系统具有重要意义。本文根据系统工作时序以及信标光波特性和波前传感器的曝光读出方式，通过机理分析方法建立了AO系统在连续光帧转移，连续光行转移以及脉冲光帧转移和脉冲光行转移等四种工作模式下的传递函数模型。推导了系统有效带宽以及相位裕量的计算公式。研究了系统采样频率与控制器参数对系统性能的影响。分析结果表明，信标与波前探测模式的不同造成系统时间延迟的不同，从而使得系统带宽和稳定性存在差异。合理设计系统的工作模式有助于提高系统的性能。　　由于光学平台的结构性谐振以及风吹抖动等因素造成的光轴抖动在很大程度上会降低AO系统的性能。采用常规控制方法很难抑制这种高频窄带的扰动信号。本文以实际系统观测数据为基础，分析了该扰动的频域特性。针对该扰动的峰值频率以及带宽，借助Smith预测器，提出了一种稳定高效且易于实施的控制器设计方法，讨论了控制器参数与其滤波特性之间的关系，分析了这种控制器对控制对象参数变化的鲁棒性。仿真结果表明，采用新型控制器可以将由光轴抖动引起的单轴倾斜像差的方差降低约60％，弥补了常规控制器的不足。实验结果表明，通过简单地系统辨识确定控制回路的主要参数，算法可以在实际系统中实施，并达到预期的滤波效果。　　望远镜等光学系统常常同时受到大气湍流以及内部像差扰动的影响，常规AO系统被证明是消除大气湍流引起的像差的有效手段，然而当存在大幅度的内部像差扰动时，常规AO系统的校正效果不理想。因此，有时需要两套AO系统协同工作。本文提出一种嵌套双AO系统结构，用内部独立嵌套AO系统校正内部像差扰动，用常规AO系统校正外部大气湍流扰动。进一步分析对比了它与常规AO系统的校正能力，数值仿真了当同时存在上述两种像差时二者的校正效果。结果表明，嵌套双AO系统对内部像差扰动的抑制能力约为常规AO系统的两倍。在内通道信噪比很高，外通道信噪比很低的工作条件下，当内扰动强度较大，嵌套双AO系统的校正残差比常规AO系统的要小10％～50％。　　AO系统由于数据读出以及控制计算等过程引起的时间延迟造成补偿波前滞后于畸变波前的变化，这种由于校正带宽不足引起的时域误差严重限制了系统的性能。除提高系统采样频率外，预测控制是增加系统校正带宽的重要手段。根据冻结湍流假设，大气湍流的主要化趋势是横向风速主导的。若能根据风速信息预测大气湍流变化将有利于降低时间延迟的影响。本文提出了一种基于风速估计的预测控制方法。该方法主要包括基于光流计算对大气横向风速的实时估计以及基于估计风速的预测过程。分别采用127单元AO系统斜率测量数据以及复原电压对风速估计算法进行了仿真分析，并对后者进行了实验验证。结果表明，风速大小估计相对误差约为10％，风向估计误差在10°以内。风速估计算法被应用到对127单元AO系统的开环控制结构和闭环控制结构中，仿真结果表明，采用风速预测控制的校正残差比采用合理设计的常规控制方法得到的残差降低了大约10％。　　本文对信标及波前探测模式和嵌套双AO系统的研究为实际系统设计和性能分析提供了依据，提出的光轴抖动的抑制方法具有重要的实用价值。本文还建立了基于风速估计的预测控制算法，初步仿真结果证明了算法对大风速大气湍流扰动的抑制能力优于常规比例积分控制器。未来将进行风速预测控制的实验验证。