相干光通信因探测灵敏度高、通信容量大、通信距离远等优点得到了广泛重视,但同时也面临着巨大挑战,其中大气湍流会引起信号光偏振态的随机变化,温度的变化也会使光的偏振态发生缓慢漂移,而光混频器对信号光和本振光的偏振态比较敏感,偏振的变化会影响光混频效率,因此必须采用偏振控制技术对信号光的偏振态进行控制,研究偏振控制技术对提高相干光通信系统的性能有着重要意义。本文以相干光通信为背景,展开了偏振对混频效率和偏振控制算法的研究,实现了相干光通信中的偏振控制,主要工作如下:1.根据偏振光的基本理论和光混频器的结构,推导出信号光和本振光偏振态与中频信号和混频效率之间的关系,分析了几种偏振控制方案的局限性,设计了以中频信号为反馈信号的偏振控制方案。2.对偏振控制中常用的模拟退火算法和粒子群算法进行了理论仿真并分析了其控制效果,结合模拟退火算法、粒子群算法和遗传算法设计了一种适用于相干光通信的控制算法:单粒子优化算法。通过理论仿真确定算法的参数,观察算法的控制效果,并将三种算法进行比较。3.分析了偏振控制中几种常用复位算法的局限性,设计了一种小步倒退复位算法,进行了理论仿真并分析了小步倒退复位和直接复位对相干光通信系统性能的影响,确定本系统中所能使用的复位方式并进行实验研究。4.将单粒子优化算法和直接复位方式用于偏振控制系统,研究了不同通信距离时信号光偏振态的具体变化情况和偏振控制对相干光通信系统性能的影响。结果表明:在通信距离为600m、1.3km、10.2km时,可以选取中频信号的幅值作为偏振控制的反馈信号;本文设计的单粒子优化算法远优于模拟退火算法和粒子群算法;直接复位方式在复位过程中会造成信号大幅度的波动,复位问题还有待进一步解决;在通信距离为600m和1.3km时,信号光偏振态的变化频率慢,通信距离10.2km时,信号光偏振态变化频率明显变快,但偏振控制系统闭环之后,中频信号的幅值快速增大,波动方差减小,混频效率提升,提高了相干光通信系统的性能。