近年来,随着互联网产业的快速发展,移动物联网、大数据和云计算等数据业务的爆炸式增长使得传输容量面临不断扩容的压力。日益增长的光网络互联应用需求使得提高光网络的容量和频谱效率(SE)成为一项艰巨的任务。用先进的调制格式和相干技术取代现有的诸如强度和开关键控(OOK)调制格式等通信系统技术,已成为一种发展趋势。本文提出了一种利用高阶QAM的高光谱效率光通信系统及相干检测方案。该方案为高阶QAM和脉冲整形技术的相干光通信系统,采用了偏振复用(Pol-Mux)和光检测器灵敏度提高的相干零差接收机。此外,一种新的均衡补偿方法的数字信号处理单元被用于光谱高效光通信系统中。本文的工作总结如下:1)首先,研究了一种梯形脉冲整形的高阶QAM信号生成方案。讨论了具有梯形脉冲整形的128-QAM和256-QAM等高阶QAM及其仿真结果和优点。信号经过了梯形脉冲整形和偏振多路复用后,在长度超过80km的光纤中传输仿真。对于采用了梯形光学滤波的脉冲整形128 QAM的情况,信号在超过80 km光纤单通道上传输带宽280 Gbit/s,结果显示该方案的功耗最小、误码率最低。2)其次,在接收端设计了采用InGaAs波导层方案的平衡相干检测方案。在改变光信噪比和符号率的情况下,详细讨论了灵敏度的提高以及当改变光信噪比和符号速率误码率(BER)和EVM的结果变化。这些结果也与以前使用的所有方案进行了比较。方案采用升根余弦滤波器,信号在离线模块的数字信号处理单元中进行零差检测和处理。采用背靠背法时,误差矢量幅度为0.97%,传输后误差小于1.76%。3)第三,采用自适应均衡的数字信号处理算法实现了 128QAM和256QAM高阶调制技术。在256 QAM情况下,240、320 Gbit/s信息速率分别对应传输15和20 symbol/s并进行相干检测。改变OSNR和符号率,并观察BER和EVM,然后将所有结果与以前采用的方案进行了比较。