为了满足5G通信中的增强宽带通信(Enhance Mobile Broadband,eMBB)的需求,模拟光载无线通信技术作为一种光通信与无线通信融合的系统架构被提出使用于前传网络中。根据前传网络中不同的功能切分方法,光载无线通信技术主要可以分为两类,一类是模拟光载无线通信技术,另一类是数字光载无线通信技术。本文重点研究了模拟光载无线通信系统中的相关问题。模拟光载无线通信技术直接将模拟无线信号加载到光纤上传输,在远端天线单元中没有数字信号处理模块。模拟光载无线通信技术具有低延时,频谱效率高等优势,可以适应逐渐增长的带宽需求,从而满足5G中的eMBB。但是模拟光载无线通信系统也存在信号的动态范围受限,线性及非线性失真等问题。为了应对这些问题,在单载波点到点传输中,本文提出了一种新型的模拟光载无线通信系统的组网方案,研究了模拟光载无线通信中的线性和非线性均衡的算法。为了应对多用户、多小区传输,本文提出来相关的神经网络算法。数字光载无线通信系统在未来5G前传网络中依然具有不可替代的作用。该方案牺牲了信道的频谱效率,需要先将无线信号通过接口协议采样并数字化,然后将信号在光纤中传输,从而实现超可靠传输。本文探索了解决数字光载无线通信系统带宽受限、接收机灵敏度受限的解决方案。为了应对上述的问题,本文的主要研究工作及创新点包括:1.在单用户点到点传输中,为了拓展模拟光载无线通信系统的传输距离,提出了一种基于直接调制激光器搭建的,使用二阶单边带调制的毫米波光载无线通信系统架构。该系统引入了一种特殊的二阶单边带调制方式,在电域和光域上同时实现了单边带调制,使系统完全克服了光纤色度色散造成的功率衰落问题,从而拓展了系统的传输距离。该系统成功地将14Gbps的QPSK信号在标准单模光纤中传输了 200km,同时在60GHz无线信道中传输了 1m,误码率维持在3.8×10-3以下。2.为了解决单用户点到点传输中模拟光载无线通信系统的线性失真问题,根据毫米波光载无线通信系统的光信道和无线信道级联的特点,提出了两种特殊的线性均衡器。第一,提出了一种可变步长的DD-LMS均衡器,可以更好地适应高速毫米波光载无线通信系统中无线信道时变的特点,均衡器可以跟踪信道的变化,收敛的速度更快。第二,将毫米波光载无线通信链路分成两部分,光纤链路和无线链路。根据分割后的信道,设计了一种具有两个子均衡器的LMS均衡器,分别用来均衡光信道和无线信道。相比传统的LMS均衡器,光灵敏度有4dB的提升。3.为了解决单用户点到点传输中毫米波光载无线通信系统中信号的非线性问题,本文提出利用复数域的多阶激活函数神经网络来对信号进行非线性均衡。首先,详细地分析了毫米波光载无线通信系统中可能会出现的各种非线性效应,说明了非线性是模拟光载无线通信中难以避免的因素。然后,为了能让神经网络更好地均衡复数域的高阶调制信号,本文为神经网络设计了一种复数域的多阶激活函数,从而均衡系统中的非线性失真问题,信号的误码率可以从10-2降低到10-4。4.为了解决模拟光载无线通信系统中的多用户多小区传输的问题,本文又深入地研究了两种神经网络在模拟前传网络中的应用场景。在第一个场景中,当进行多用户上行传输时,多用户的信号会聚集在公共光纤链路中,从而导致光纤链路中的信号峰均比增加。高峰均比使多用户的信号发生非线性交叉调制。本文提出了一种多用户协同均衡方案,可以利用神经网络来对多用户同时均衡,消除不同用户之间的交叉调制。第二个场景是小区协作传输。为此本文设计了一种基于神经网络的MIMO解复用器,该算法具有一定的记忆深度,可以容忍不同传输信道之间存在一定的时间差。当通信速率为2.344Gbps时,神经网络可以容忍的两路时间差为4ns。5.为了解决数字光载无线通信系统现存的带宽受限问题和灵敏度受限问题,本文提出了两种相关的解决方案。第一,为了增加在光纤链路中的可用带宽,本文提出了一种极化调变直接检测系统,可以缓解由于光纤色度色散造成的功率衰落问题。相比传统的强度调制直接检测方案,该系统在基带的可用带宽提升了41.4%。第二,为了解决RRU端接收机灵敏度受限的问题,让前传网络中的一个波长被更多的远端天线单元所共享,并且提升信号质量,本文提出了一种最大合并比算法,使相干接收机和直接检测接收机相结合,提升了光纤链路的接收灵敏度。相比传统的直接检测接收机,本文提出的接收机灵敏度提升了 18.5dB。