作为国家信息基础设施的光纤通信系统的传输速率需要不断的提高;然而,传统基于强度调制/直接检测（IM/DD）的波分复用（WDM）系统经过了 20多年的充分发展和广泛应用后,其频谱效率已经不能满足目前人们对高速通信需求的不断增长。曾经在上世纪80年代末期成为研究热点的相干光通信技术又重新回到了人们的视野中来。上一代的相干光通信系统没有采用模数转换器（ADC）和数字信号处理（DSP）技术,因而需要使用光学的方法来实现发射端与接收端激光器的频率和相位同步。目前,由于高带宽ADC的出现,相干光接收机可以在数字域中实现大的色散补偿、大偏振模色散补偿、时钟同步、载波恢复等。针对相干光通信系统中的各种线性和非线性损伤,需要有相应的数字补偿算法。因此,开展相应DSP技术的研究对于高速光通信系统的发展及应用具有重要意义。本文主要研究数字信号处理技术在高频谱效率光纤通信系统中的应用,研究以先进的数字信号处理算法辅助提升相干光通信系统与短距离的IM/DD光通信系统的频谱效率和容量,针对已有技术的不足之处提出改进的方案。本论文的所有结论都有理论与实验依据。本论文的主要工作和创新点如下:第一,将具有相同频谱效率的数字双子载波信号与单载波信号在同一实验平台上进行传输性能比较。首次实验证明,当频谱效率相同,并采用类似的DSP算法时,单载波信号的传输性能优于双子载波信号。当子载波上的调制格式为正交相移键控（QPSK）时,2-IFFTOFDM（正交频分复用）与我们所提出的正交单边带（OSSB）调制都表现出9 QAM（正交振幅调制）的形式,因而自适应信道均衡、频偏估计和相位恢复算法等都不需要额外的开销。这两种调制格式的频谱效率都是4bit/s/Hz,与偏振复用的Nyquist脉冲整形的QPSK信号相同,所以它们的传输性能之间存在可比性。实验结果表明,单载波信号的传输性能优于这两种双子载波信号。另外,QPSK处理算法的计算复杂度要比9 QAM低,所以单载波QPSK更加的实用。第二,针对单载波QAM信号的偏振解复用问题,提出了一种基于独立成分分析（ICA）的盲偏振解复用算法,解决了常模算法（CMA）的奇异性问题。该算法实现偏振解复用是通过最大化由负熵所表示的信号非高斯特性;在算法的应用中,梯度算法和收敛更快的准牛顿算法都能用来最大化代价函数;同时,一些形式简单的非线性函数可以用来代替原始的代价函数,使算法的复杂度能大大低减小。对QPSK和16QAM信号调制格式的数值仿真与实验结果表明,所提出的低计算复杂度的简化算法与常用的CMA算法具有一样的性能,但是所提出的ICA偏振解复用算法能避免CMA算法的奇异性问题。第三,提出了一种适用于低成本、短距离IM/DD光纤通信系统的光信号调制格式,提高了频谱效率。该调制格式采用了全数字的副载波调制与Nyquist脉冲整形,符号周期正好是副载波周期的一半。半周期副载波调制信号具有带宽低的特点,因而用相对便宜的低速器件能产生较高速的信号。从数学模型上分析了双边带调制和光纤色散使该格式信号在传输时产生的频率选择性衰落;并推导出该调制格式的峰均功率比（PAPR）。实验上,波特率为6GBaud的偏振复用48 Gbit/s 16 QAM副载波调制信号经过了 83公里标准单模光纤传输之后的误码率是3.57×10^-3,小于7%的前向纠错（FEC）码门限3.8×l0-3。在没有使用光纤放大器的情况下,用直接调制激光器（DML）和一对马赫曾德尔调制器（MZM）分别进行了非偏振复用和偏振复用3 GBaud的64/128 QAM半周期副载波调制信号的短距离传输实验,经过了 20公里的标准单模光纤传输后,64 QAM信号的误码率小于7%的FEC门限3.8×10^-3,128 QAM信号的误码率小于20%的FEC门限2.4×10^-2。