20世纪末到21世纪初，互联网络的出现推动了全球通讯行业的进步，特别是在近几年由于多媒体的高速发展，社会上对于通信行业中的数据传输有着更高的要求。而光纤骨干传输网的信道容量、以及传输速率的提升也为光通信技术的发展提供了更高的挑战性要求。本文研究的是在单信道的光传输系统中，结合相干光和OFDM的技术构造高速率的CO-OFDM(相干光检测正交频分复)系统传输模型，主要探索在光信道传输中的非线性损伤。本论文对CO-OFDM系统进行了研究，内容如下：本文首先探讨了CO-OFDM系统的工作原理，从理论分析入手，结合相干光通信理论和OFDM调制解调理论建立CO-OFDM系统的数学模型，并确定CO-OFDM系统的各个系统模块，包括射频调制模块、射频到光的上变频系统、光纤链路、光到射频的下变频系统和射频解调模块。通过CO-OFDM系统的数学模型，建立系统的基本框架，研究CO-OFDM系统中的关键技术。本研究采用由Optisystem和Matlab仿真软件联合搭建CO-OFDM仿真平台，论文主要研究了Optisystem和Matlab仿真软件的正确连接，确保两者工作的正常以及精确性。其次，根据光脉冲在单模光纤内传输的NLS(非线性薛定谔）方程，分析在光纤通信中的光纤非线性损伤(包括受激非弹性散射和Kerr效应)的基本原理以及非线性损伤对CO-OFDM系统的影响，验证SPM(自相位调制效应)、XPM(交叉相位调制效应)、FWM(四波混频效应)等非线性效应以及GVD(群速度色散)对于光纤传输的影响。再次，本文主要围绕CO-OFDM系统的信道光纤非线性损伤的补偿方法展开研究。从非线性损伤的光域补偿角度，将传统的非线性补偿方法OPC(相位共轭补偿)应用到CO-OFDM系统中，验证OPC技术可以有效地应用于CO-OFDM系统中，并且对于OPC补偿方法中的Q因子与传输距离等关系进行分析；改变OPC补偿方法在链路中的位置以及结合预啁啾色散管理方法，验证通过这两种方法可以提高系统的非线性门限以及最大Q因子，提高系统性能。最后，总结全文的研究成果，并且对于该技术的研究提出进一步的展望。