自由空间光通信（FSO）因其传输速率高、收发带宽大、建设周期快、系统预算成本低、兼容传统电信网络及适应复杂地形环境等应用优势,被业界认为是下一代高速无线宽带传输或接入技术的备选方案。近年来终端用户对于接入高速信号的频带宽度及灵活性要求日益提升,为了实现宽带有线接入,实现更高速的无线接入的,提高信号在隧道等复杂地势地区的稳定传输距离,集成光纤无线（Ro F）技术的FSO系统日益受到关注。Ro F技术虽然兼顾了有线通信“海量带宽”和无线通信“无处不在”的应用优势,但往往需要进行副载波和连续光载波二次调制及解调,尤其在与FSO系统融合应用时还需要进一步考虑不同种类信道应用特性和光电器件参数及接口配置,因此选择并研究大带宽、高速率、低单比特信息传输成本和适应Ro F-FSO系统收发机及传输链路应用的若干先进调制解调方案至关重要。为了尽可能降低系统成本耗费并最大程度提升通信容量,采用偏振复用技术对FSO系统以及Ro F-FSO系统进行调制,将两种系统的传输性能进行了对比分析,并采用若干先进调制解调方案开展相关研究工作。本文分析了FSO系统的结构配置和工作原理,同时阐述了Ro F系统的架构模式和应用特性;在此基础上,对FSO系统、Ro F-FSO系统中高速信号的收发、传输及接入特性进行了研究。针对上述两类系统,重点介绍并引入了偏振复用技术、信号交替翻转技术（AMI）、高阶脉冲幅度调制技术（PAM-N）、正交频分复用调制技术（OFDM）,并完成了相关仿真实验研究。具体研究结果如下所述:设计了应用偏振复用交替翻转技术的FSO通信系统和Ro F-FSO通信系统,实现了10Gbit/s单偏振AMI信号与双偏振AMI信号在FSO通信系统与Ro F-FSO通信系统上的收发和传输;设计了应用偏振复用脉冲幅度调制的FSO通信系统和Ro F-FSO通信系统,研究结果表明,在误码率（BER）低于10-3时,实现了10Gbit/s单偏振PAM-N信号与双偏振PAM-N信号在FSO通信系统与Ro F-FSO通信系统上的收发和传输,且AMI相较PAM技术拥有更强的大气湍流抵抗效应,双偏振相较于单偏振更能增加系统的传输容量;设计了应用多进制正交幅度调制正交频分复用调制（MQAM-OFDM）的FSO通信系统和Ro F-FSO通信系统,将60Gbit/s 64QAM-OFDM信号、70 Gbit/s 128QAM-OFDM信号和80 Gbit/s 256QAM-OFDM信号分别通过FSO通信系统与Ro F-FSO通信系统,实现了信号的收发和传输,并比较了在不同激光器线宽的情况下64QAM-OFDM信号的接收质量,研究结果表明,256QAM-OFDM调制信号相较128QAM-OFDM和64QAM-OFDM调制信号而言在提升频谱利用率的同时导致误码率提升现象较为严重。