在激光传输系统中,自适应光学系统是校正大气湍流的重要手段,是系统保持优良工作状态的保障。但是当激光传输系统的ATP系统旋转时,自适应光学系统不能在全旋转角度范围内按照预期效果校正像差,在某些方向上旋转时自适应光学系统的校正能力有下降的现象。本文就上述问题,从波前旋转和光学薄膜产生的偏振色差出发,研究系统校正能力下降的原因。本文分析了入射波前与光学系统间的相对旋转给波前探测和波前重构的精度带来的影响,发现随着夏克-哈特曼波前传感器的空间分辨率的提高,波前旋转带来的影响逐渐减小到可以接受的范围内,且对波前校正影响较小。随后将研究的重点转移到卡塞格林扩束系统和折叠镜中的光学薄膜产生的1319nm和589nm之间的偏振色差对自适应光学系统校正能力的影响。本文主要包含以下四部分内容:第一,介绍了自适应光学系统波前探测的基本原理。包括自适应光学系统的基本工作原理,夏克-哈特曼波前传感器的工作原理和Zernike模式法波前复原的基本原理。第二,详细介绍了偏振像差理论。首先介绍了光学薄膜产生偏振像差的原因,叙述了使用琼斯矩阵描述光学系统偏振信息的方法,介绍了琼斯矩阵的Pauli分解法和使用该方法得到的偏振像差的二阶展开式。然后介绍了琼斯矩阵的奇异值分解法,利用该方法能将琼斯光瞳分解为5个物理光瞳,提取出偏振像差中的畸变波前,有利于进行后续的波前分析,研究偏振效应产生的波前畸变给系统带来的影响。第三,探究了波前旋转给波前探测带来的影响。通过模拟夏克-哈特曼波前传感器探测旋转波前,分析了波前旋转时,夏克-哈特曼波前传感器探测到的像差成分的变化,波前探测精度和波前重构精度的变化。另外,分析了波前旋转对不同空间分辨率的夏克-哈特曼波前传感器的波前重构精度的影响。最后,分析了波前旋转对波前校正带来的影响。第四,分析了卡塞格林扩束系统和折叠镜产生的偏振色差。首先用琼斯矩阵描述了光学薄膜产生的偏振像差对振幅和相位的影响,然后使用奇异值分解法从琼斯光瞳中分离出波前光瞳,模拟哈特曼波前传感器对分离得到的标量波前进行波前探测和像差分析。分析了在卡塞格林扩束系统中由光学薄膜产生的1319nm和589nm之间的偏振色差,以及偏振色差带来的自适应光学系统校正能力的下降,并研究了偏振色差与光学系统F数之间的关系。然后分析了折叠镜产生的偏振像差,以及偏振像差中波前像差成分随光束发散角变化的情况。最后通过实验,测量分析了平面反射镜由于复杂膜系的偏振效应产生的可见光波段和1319nm之间的偏振色差。