随着移动通信、数字多媒体业务飞速发展,人们对传输速率及带宽的要求越来越高,寻找超高速、超大容量的光纤通信技术势在必行。有研究显示,无论是相干光通信系统,还是强度调制/直接检测（Intensity Modulation/Direct Detection,IM/DD）系统,采用新的调制格式以及先进的数字信号处理技术都可以提高信号频带利用率,实现信号高速传输。本文围绕高频谱利用率的奈奎斯特副载波调制（Nyquist Subcarrier Modulation,Nyquist-SCM）通信系统开展研究,采用先进的数字信号处理技术来提升信号在光纤信道中的传输性能。具体创新性工作如下:第一,提出了一种适用于IM/DD短距离光纤通信系统的Nuquist-SCM调制格式,该格式具有很高的频谱利用率,并且采用盲均衡技术增加其传输距离。Nuquist-SCM调制技术结合副载波调制与Nyquist脉冲整形技术,使副载波频率为符号速率的一半,提高了频谱效率。同时采用盲均衡中的常模算法（Constant Modulus Algorit hm,CMA）进行信道估计、偏振解复用及信道均衡,提高了接收符号的准确度,降低了误码率。实验搭建了16QAM（Quadrature Amplitude Modulat ion,QAM）Nyquist-SCM IM/DD光纤通信系统,研究非偏振复用及偏振复用的16QAM副载波调制信号在不同传输距离下的传输性能。实验结果表明,48Gbit/s 16QAM的副载波调制信号在标准单模光纤中传输83km后,信号的接收光功率是-10.3dBm,对应的误码率小于7%的前向纠错（Forward Error Correction,FEC）门限值。因此,采用Nuquist-SCM调制格式能够提高频谱利用率,同时结合相应的数字信号处理技术,可以提高传输距离及传输性能。第二,在上述研究基础上,提出了基于数据辅助的信道估计及重叠的频域均衡（Overlap Frequency Domain Equalization,OFDE）算法,进一步提高Nyquist-SCM系统的频谱利用率及传输效率。实验实现了采用预均衡、基于数据辅助的信道估计及OFDE算法的64QAM Nyquist-SCM系统。与16QAM Nyquist-SCM系统相比较,64QAM Nyquist-SCM系统的频谱利用率提高了1.5倍。此外,将盲均衡算法与基于数据辅助的算法进行比较。实验结果表明,在标准单模光纤中传输43km后,当达到FEC门限值3.8?10^-3时,36Gbit/s 64QAM偏振复用信号的接收光功率为-9dBm;当达到FEC门限值2.4?10^-2时,偏振复用信号的接收光功率为-13dBm。实验结果验证了基于数据辅助的信道估计及OFDE算法对提高Nyquist-SCM系统的频谱利用率及传输效率具有可行性。