由于各种数据、视频业务的蓬勃发展,人类社会对于信息传输带宽的需求以惊人的速度高速增长。为了满足网络带宽需求以及单信道速率的持续高增长,高速光通信系统正在告别以往的强度调制／直接检测(IM/DD)方式。将无线通信领域中成熟的正交频分复用(OFDM)技术引入到光通信中是目前实现高速光通信的一个研究热点。光OFDM系统融合了无线OFDM技术和光通信的优点,具有高传输速率、高抗色散能力、高频谱效率等优势。研究表明,光OFDM系统可以在现有光传输系统的基础上构建出高速率、低成本、长距离的光传输网络,是实现下一代超高速长距离光传输的潜在技术之一。本论文以相干光OFDM系统(CO-OFDM)为研究对象,从研究光OFDM系统的原理入手,通过搭建CO-OFDM仿真平台,深入研究CO-OFDM系统的性能和关键技术,主要研究内容和成果可以分为以下几个部分：(1)本论文在研究OFDM技术基本原理和关键技术的基础上,研究了光OFDM系统的原理；从基本理论的公式推导入手,深入研究了CO-OFDM系统各组成部分的原理,并结合目前国内外的研究现状,详细分析了CO-OFDM的优势与不足以及潜在的应用领域。(2)基于VPI和Matlab仿真软件搭建的CO-OFDM系统仿真平台,本论文验证了CO-OFDM系统的正确性,同时仿真分析了MZ调制器、DAC和ADC对CO-OFDM系统性能的影响。(3)基于VPI和Matlab仿真软件搭建的CO-OFDM系统仿真平台,本论文研究了CO-OFDM系统中的相位噪声、CD和PMD的原理及影响,提出了导频帮助相位补偿算法(PAPC,补偿相位噪声)、基于训练符号(TS)的时域平均信道估计算法(TSTA,补偿CD)和OFDM符号的相邻子载波间频域平均和相邻OFDM符号间时域平均的联合信道估计方法(ISFA with TA,补偿PMD)。仿真结果表明,PAPC算法能很好地补偿线宽等因素引起的相位噪声；TSTA算法能很好地补偿CD对CO-OFDM系统造成的性能损伤,在频偏、低OSNR等情况下也能很好地工作；ISFA with TA算法结合了时域和频域平均的优势和CO-OFDM系统本身的特性,能很好地补偿PMD对CO-OFDM系统造成的影响。(4)根据CO-OFDM系统的特点和频率偏差对OFDM系统的影响,本论文详细分析了CO-OFDM系统中频率偏移的表现形式和影响,对其原理进行了详细的公式推导。本论文提出了一种基于循环前缀(CP)和虚载波的盲频偏估计算法,从公式推导入手,详细分析了小数部分频偏、整数部分频偏和残余频偏的影响。同时,为了补偿频偏对CO-OFDM系统的损失,根据CO-OFDM系统的特性,本论文还提出了一种OFDM符号结构,对基于循环前缀(CP)和虚载波的盲频偏估计算法进行了仿真分析。仿真结果表明,基于循环前缀(CP)和虚载波的盲频偏估计算法能完全补偿频偏的影响,在OSNR很低的时候也能很好地工作。(5)本论文提出了一种频率偏移和信道联合估计算法,利用训练符号(TS)来补偿残余频偏引起的相位偏移,不但提高了补偿的精度,同时可以避免使用导频,提高系统的频谱效率。同时,本论文对频率偏差和信道联合估计算法的性能进行了仿真分析。仿真结果表明,频率偏差和信道联合估计算法几乎可以完全补偿色散和频偏造成的系统损伤,提高了频偏估计的精度。本论文充分研究了CO-OFDM中的信道估计和频率偏差估计等问题,提出了相应的补偿算法。同时,本论文也研究了MZ调制、激光器线宽、DAC和ADC等因素对CO-OFDM系统的影响。