在第五代（5G）和超5G（B5G）移动通信构架下提出的4K、AR、VR以及无人驾驶等构想都依赖于超大容量的多功能前传网络。一方面传统的低频谱效率数字前传技术已经难以满足容量需求,模拟光载无线（RoF）前传技术凭借容量优势脱颖而出;另一方面,微波光子系统具有超大带宽、抗电磁干扰、配置灵活等优点,能够实现包括5G毫米波通信在内的多种功能。因此,将微波光子技术与RoF系统进行融合有望进一步推进多功能、大容量前传网络的发展。传统的微波光子系统的稳定性差、功能单一、体积庞大等缺陷限制了其商用化。弥补上述缺陷并将微波光子系统融合到RoF链路中是拓展光纤前传系统功能、实现超大容量前传的捷径。本论文从RoF基本理论和微波光子系统基本器件入手,对微波光子系统的性能优化和微波光子系统在模拟RoF系统中的应用展开了研究,研究内容如下:（1）研究模拟RoF系统的非线性和噪声理论,基于商用器件参数建立级联的RoF系统无杂散动态范围和噪等参数的模型。研究微波光子系统的常用器件——MZM,包括:MZM工作原理以及单驱动MZM（SD-MZM）偏置点控制理论。分析传统偏置控制方法的优缺点,提出了基于导频注入相关检测的偏置点控制技术。（2）研究光IQ调制器的工作原理,提出了基于导频注入相关检测的光IQ调制器偏置点控制技术,设计了线性偏置点和任意偏置点控制算法和模块。实验结果表明:控制模块控制精度为±0.2°,线性偏置点和任意偏置点追踪算法能有效应对剧烈的温度波动。基于研制的偏置点控制模块实现了宽带模拟OFDM信号的调制和传输,并产生了29.2GHz载频信号。基于对光IQ调制器特性及偏置控制技术的研究,探讨了光IQ调制器在光纤保密通信领域的应用。（3）研究实现全双工天线自干扰消除（SIC）的光学方法,对基于SD-MZM的全光SIC方案和基于双驱动MZM（DD-MZM）的光电混合SIC方案两种典型方案进行原理分析。提出了基于最优化偏置点光IQ调制器的自干扰消除方法并进行了实验验证,实验结果表明该方法能对200MHz带宽的F-OFDM自干扰信号产生35dB以上的自干扰抑制比。研究了面向上述SIC系统的数字域补偿算法,设计了补偿多径失真的递归最小二乘（RLS）线性均衡算法和补偿非线性失真的RLS-Volterra均衡算法。实验结果表明:该算法能有效补偿多径效应和非线性效应,能对200MHz F-OFDM自干扰信号产生42dB的抑制比。（4）基于单个DP-IQMZM设计了集SIC、OEO、微波光子混频、单边带信号产生等功能为一体的全双工微波光子射频收发前端,并进行了偏置点优化和结构优化。搭建了IFo F传输实验平台,实现了高稳定性低相位噪声的LO信号产生,对150MHz宽带自干扰信号产生了30.3dB的自干扰抑制比,对输入的LTE-A中频信号实现了信噪比达31.3dB的低噪声上变频处理。