光纤无线通信(Radio．over．Fibei‘，RoF)技术基于光纤传输毫米波信号，充分利用光纤通信的超宽带、抗电磁干扰以及无线通信的高度灵活等优势，是未来宽带无线接入的关键技术之一。为降低RoF’系统的实现成本，促进其商用化，迫切需要解决毫米波信号在光纤中传输时受色散影响而限制传输距离以及进一步简化RoF系统的基站结构等问题，因此，研究能够克服光纤传输的色散效应并提高频谱效率的高速先进调制格式、结构简单的基站和高性价比的光载毫米波将对RoF系统的发展和应用具有重要的理论意义和实用价值。本文研究了先进调制格式及其在RoF系统中的应用所涉及的一些关键技术，取得如下刨新性研究结果：1、先进调制格式是40Gb／s以上高速长距离光传输领域的研究热点，由于差分相移键控和差分正交相移键控调制格式具有较高的频带利用率，能够更好地抵御高速光传输中光纤非线性效应和偏振模色散带来的影响，因此引起几们的高度关注。针对高速先进调制格式的产生受到光电器件速度的限制的问题，本文提出了一种基于差分马赫曾德尔调制器产生80(Gb／s速率的归零差分相移键控、载波抑制归零差分相移键控、归零差分正交相移键控、载波抑制归零差分正交相移键控等多种调制格式的方法。仿真结果表明，该方法采用已商用的光电器件，能方便有效地产生归零差分相移键控和载波抑制归零差分相移键控，具有一定的扩展性，与已有的高速归零差分正交相移键控和载波抑制归零差分正交相移键控调制格式的产生方法相比，简化了系统的结构。此外，建立了差分相移键控和差分正交相移键控调制格式抗偏振模色散的系统模型，计算了不同调制格式对偏振模色散效应的容忍度，仿真研究发现载波抑制归零差分相移键控比归零差分相移键控调制格式具有较好的眼开度，说明其具有更强抑制偏振模色散效应的能力；载波抑制归零差分正交相移键控比归零差分正交相移键控调制格式的频谱结构紧凑，增强了对光纤非线性和偏振模色散效应的容忍度，更适合于高速长距离的光传输系统。2、毫米波段RoF技术和系统的研究是满足几们对宽带业务需求的极具竞争力的解决方案。实现具有简单基站结构、较低系统成本的全双工RoF系统是目前RoF系统商用化的关键问题。本文提出了一种基于相位调制器和光纤布拉格光栅产生光载毫米波以及波长重用的全双工RoF系统，实验结果表明，当误码率为10-9时，2 5Gb／s数据双向传输20km后的上行链路数据的功率代价为1 1dB。该系统采用的相位调制器无偏置电压，不需要使用复杂的电路，降低了系统复杂性，而采用的光纤布拉格光栅是无源器件，价格相对便宜，该系统在基站采用波长重用，不需要任何光源，降低了系统成本。随着光载毫米波信号频率的提高，高性价比光载毫米波信号的产生对光电器件的带宽提出了更高的要求，因此高性价比光载毫米波信号的产生及其缓解长距离光纤传输中的色散效应成为全双工RoF系统研究中的另一个关键问题。针对此问题，本文提出了一种使用低频率微波信号产生高性价比光载毫米波信号的全双工RoF系统。通过实验研究了采用10GHz的射频信号产生40GHz的毫米波信号，发现双向全双工2 5Gb／s数据在201s。m单模光纤中成功传输，当误码率为10-9时，传输201(m后的上行链路数据的功率代价为1dB。该系统降低了微波电子器件(如放大器、混频器等)、电光调制器的带宽及微波源的频率，降低了系统成本。3、目前所有的方式产生的光载毫米波信号只支持开关键控的数据调制格式，而象支持矢量信号如相移键控、正交幅度调制等调制格式的传输实验研究甚少，这些调制格式在无线通信中是非常重要的。由于开关键控格式受到光纤色散的影响，限制了光载毫米波信号在光纤中的传输距离，本文提出了一种基于高性价比光载毫米波上承载光差分相移键控调制格式的全双工RoF系统，实验实现了支持光差分相移键控调制格式的高性价比光载毫米波信号的传输，通过实验表明全双工2 5Gb／s数据在单模光纤中传输了40km，该系统提高了光载毫米波信号在全双工RoF系统中的传输性能。同时考虑正交频分复用具有高频谱效率以及较强的抵抗色散和偏振模色散效应的能力，本文提出了一种基于高性价比光载毫米波上承载正交频分复用信号的全双工RoF系统，实验结果表明，当误码率为10-3时，正交频分复用下行信号经过501,：m单模光纤传输后的功率代价约为1dB。当误码率为10-9时，开关键控格式上行信号经过相同距离传输后的功率代价小于O 05dB。该系统具有高频谱效率，在基站不需要相干光源，有效地实现了波长重利用，降低了系统成本，而且可以忽略电正交频分复用信号在光纤中的色散影响，在长距离光纤中传输无需光纤色散补偿。