自由空间光通信(FSO)技术研究至今,一直受到光通信各领域的广泛关注。FSO系统利用光脉冲信号作为信息载体,在自由空间中传输数据,该技术应用于大气通信的各个领域,如近地面的大气光通信、地面和卫星以及卫星之间的星际光通信。与光纤通信、微波技术相比,自由空间光通信系统有很多明显的优点,如带宽资源丰富、信号频率高、信道容量大以及高速的数据传输能力。然而,自由空间光通信链路的性能和可靠性会遭受到大气条件的严重影响,大气湍流信道的不规律性和随机性,会对FSO通信系统造成极大的损害,导致系统信噪比的降低和误码率的增高,甚至造成通信系统的中断。为了减轻大气湍流对自由空间光通信的影响,很多技术已经被提出和应用在FSO系统的各个部分,如分集接收、信道编码、部分相干光传输技术、孔径平均技术等。这些技术是基于发射端的信号编码,或是在接收端增加本地信号获取混频增益,或是利用信号间的弱相关或不相关的特性来降低信号衰落。传统的自由空间光通信系统基于强度调制和直接检测(IM/DD)的调制解调方案,然而相干系统性能比IM/DD系统高出10～25dB,使得自由空间光通信系统中的这一重要性能指标大幅度提升。因此,由于相干检测技术在接收灵敏度上的突出优势,在FSO通信系统中使用相干检测技术已经成为通信研究的热门领域。本文采用新型调制格式,结合相干探测技术,最大程度地降低大气信道活动对通信系统性能的影响,对FSO技术的推进和发展都有着实际指导意义。论文针对自由空间光通信系统展开研究,基于相干检测技术研究了新型混合调制技术在自由空间光通信中的应用,论文的主要工作和创新点包括以下几方面:1、针对大气传输过程中光信号偏振态受大气湍流信道影响,以及在接收端实现对微弱信号进行探测的问题,提出了圆偏振位移键控(CPolSK)零差相干检测通信系统。CPolSK调制使用左、右旋圆偏振光来代表传输信号的两种数据状态,光束的偏振态在自由空间传输过程中受大气湍流影响较小,增加了系统的稳定性,减少了误码率,相较于OOK系统误码性能高出3dB。同时,零差相干接收系统原理是在信号光在与本振光的干涉过程中获得增益,通过提高本振光功率,使得接收端的噪声源仅受到量子噪声的约束。当误码率为1.0E-9时,IM/DD系统需要100photons/bit,而相干系统仅仅需要约10photons/bit甚至更少。这使得接收系统的灵敏度和波长选择性(信道间隔小到为1GHz～10GHz)相对于直接探测系统有很大的提高,从而增大了链路传输距离(波长1550nm可延长到100km),是一种极具潜力的通信系统。2、针对传统调制格式的局限性,提出了新型PolSK-PPM-MQAM混合调制格式,旨在结合多种调制方式的优势,提升光信号在大气光通信传输过程中的性能。该种调制方式使得传输比特数增加到log1N+(1+ log2M),不仅减少发射功率、增加系统容量,也提高了系统的抗湍流性能,误码性能相较于OOK系统增加10dB左右。本文通过相应的理论研究验证了分析结果;3、针对在无线通信下多输入多输出(MIMO)系统可以极大提升通信系统性能的特点,结合了 MIMO系统与CPolSK-PPM混合调制技术,提出了一种新型的MIMO-CPolSK-PPM通信系统。在中强湍流信道下的Gamma-Gamma模型下分析了 MIMO-CPolSK-PPM系统的误码性能比OOK系统增加5dB。理论分析表明,新型的MIMO-CPolSK-PPM系统能够很好的抵抗大气湍流对系统可靠性的影响,并利用多天线间的不相关性,增加信道容量,是一种具有实用价值的调制技术;4、针对相位随机扰动影响光信号的偏振态的问题,提出了一种新型的PolSK调制方法。该调制方法采用了两个AM调制器取代了传统PolSK调制的单一相位调制器,很好的避免了光信号相位变化对偏振态的巨大影响。在实验室现有条件的基础上,搭建了 PolSK调制系统的实验平台,实现了背靠背系统的无误码传输。同时分析比较了 PolSK和OOK调制系统的实验结果。