随着高速数据的业务的应用,现有的通信带宽已经不能满足人们的需求。为了提高无线通信系统的容量并实现宽带通信,必须使用高频传输频段。毫米波通信可提供大容量的通信带宽,但毫米波在大气中衰减极大,无法实现长距离传输；另一方面,光纤通信信号传输质量好,损耗低,但移动性差。将光纤通信和毫米波通信相结合的光纤无线系统Radio-over-Fiber (RoF)技术可以很好的解决这个问题,RoF系统具有光纤通信和毫米波通信的双重优点,可以实现大容量的无线接入通信。在RoF系统中,毫米波的产生是一项关键技术。目前用于产生毫米波的技术很多,光外差法是其中一种比较有效的方法。除此之外,器件对系统的性能也有很大的影响,在RoF系统中,光电探测器是接收端的重要的器件,决定着接收信号的噪声,功率等参数。本文对光纤无线通信系统中光外差技术和光电探测器进行了研究,论文的主要工作和成果如下：1.研究了RoF系统结构、关键技术、关键器件和性能参数,重点分析了RoF系统中的毫米波产生技术和光电探测器原理。2.研究了毫米波产生技术中的光外差法,分析了已有的方法的技术特点。针对光外差法中的相位噪声问题,将OCS(光载波抑制调制)用于光外差法中,对系统做了理论研究,分析了系统原理,结果表明该系统能够消除光外差法中激光器频率不稳定带来的相位噪声,并简化了系统结构。3.提出将三频光外差法用于毫米波的产生,研究了此方法的原理和系统结构,理论研究了系统的性能。根据原理结构图搭建了三频光外差法实验系统,实验证明了理论的可行性。4.分析了平衡探测理论,并将平衡探测和三频光外差法相结合,理论分析了二者结合后的系统的性能,并验证了系统在信噪比上的提高。5.研究了RoF系统中的关键器件光电探测器,对光电探测器原理、器件的发展进行了分析,并着重研究了光电探测器中的非线性以及大功率光电探测器。