近地无线光通信利用光束通过大气空间来传送信号，这种技术能在短距离内以非常灵活的无线方式，并且以比现有系统低很多的投资成本，获得很大的传送容量，是一种非常好的通信选择。然而，大气是一种随机信道，其对光信号的影响会严重降低系统的性能。在以往的微波通信中人们已经研究了一些技术来提高无线通信系统的可靠性，例如，调制技术、放大技术、分集技术、中继技术等等。现在这些技术正在逐渐被借鉴到无线光通信系统中去。目前本人所在的实验小组自主设计研发了一套无线光通信系统，需要对这些抑制大气信道影响、改善系统性能的技术进行研究，用以改进本实验室所设计的系统，提高系统误码率。本文首先研究了基于圆偏振位移键控(CPolSK)调制的无线光通信系统，研究了圆偏振位移键控调制的原理，并对几种常用的调制技术的性能进行了数值分析。重点通过仿真对比分析了CPolSK调制系统与OOK调制系统的性能，结果表明，本实验室设计搭建的基于CPolSK调制的系统得到的眼图质量要比OOK调制系统的眼图质量好；并且误码特性有明显优势，最小BER降低了4个数量级；在灵敏度上，CPolSK调制系统也优于OOK调制系统，其对发射功率的需求降低了约0.72mw。本实验小组也已经通过实验验证了CPolSK调制系统比OOK调制系统的性能更优越。接下来本文研究了加入光放大器的无线光通信系统，重点对发射端光放大与接收端光放大两种情况下无线光通信系统的传输距离、链路冗余度与误码率等性能进行了仿真研究。结果表明，发射端光放大的系统比接收端光放大的系统的有效传输距离和链路冗余度都有很大程度的提升；并且，在同样的条件下，采用发射端光放大的系统的眼图细而清晰，而采用接收端光放大的系统的眼图杂乱；信噪比计算结果显示，发射端光放大系统的信噪比远大于接收端光放大系统，这也解释了为什么两个系统性能上有很大的差异。最后，本文提出了一种基于望远镜阵列的空间分集接收方法，并结合光学自适应控制技术进一步提出了基于光信号振幅和相位自适应控制的望远镜阵列接收方法，通过仿真分析，验证了此接收方法能够抗大气扰动，提高系统的接收灵敏度与误码率，改善系统性能。