随着互联网时代各种超大型数据业务的爆炸式发展和指数型增加,人们对高速率、超大容量以及传输质量的需求也在极速增长。100G和400G的高速相干光通信系统具有高集成度、良好的传输质量等特点。并且目前国内外对于高速相干光通信系统已有大量的理论研究和商用化实例,其研究成果也较为成熟。但是随着光通信带宽资源需求的迫切增加,人们对于频带传输效率的要求也越来越高。超奈奎斯特(FTN)技术做为一种有效提高频带传输效率的良好技术,近来又重新引起了人们的关注。然而FTN技术在具体的实现过程中,由于系统的发送端人为的引入了一定信号间的串扰,在系统的接收端需要采用复杂的合适的技术进行信号恢复。由于FTN技术本身会带来信号间的干扰,因此FTN技术会对系统的误码性能带来一定的损失。而又为了保证一定的通信系统误码性能,系统接收端往往会采用一些复杂的措施进行信号干扰的补偿,这将会使得整个FTN系统的复杂度增加。因此限制超奈奎斯特技术发展的主要因素是系统的复杂度和系统的误码性能。本文首先对传统的时频域FTN技术进行了分析和研究。对于传统的时域FTN技术,本文的接收端是采用的是常用于补偿ISI的LMS均衡器,而传统的频域FTN技术,本文的接收端则是采用流水线模型的蝶形均衡器进行信号的恢复。但是对于传统时频域的FTN技术,更关心的是系统传输效率对系统误码性能的影响,因此本文重点研究了传统时频域FTN技术的系统传输效率对系统误码性能的影响情况。通过仿真结果发现,无论是时域还是频域FTN技术,系统的误码性能都会随着传输效率的增加而变差,而且在比特传输效率增加时,这种变差的趋势更快更明显。因此针对这些问题,本文首先将传统的时频域FTN技术在相同的传输效率下进行对比仿真,而后将相同比特传输效率下的时分混合调制(TDHM)技术与传统时频域FTN技术进行对比仿真。通过仿真结果发现,在相同的传输效率下,传统时域和频域的FTN技术具有几乎一样的误码性能,即传统时频域FTN技术的误码性能随传输效率的下降趋势几乎一致。而传统的时频域FTN技术在相同的比特传输效率下,其误码性能相比于TDHM技术会差很多。本文根据传统时频域FTN技术的研究结果,从中发现传统时频域FTN技术在误码性能和系统复杂度方面不足之处。根据这一点本文创新性的提出了一种新的分块FTN技术。本文首先将分块FTN技术采用数形结合的方面进行介绍和分析,而对于分块FTN技术的判决复杂度问题,本文有创新性的提出了一种简化的判决方法。而后本文为了验证这种分块FTN技术的优势与可行性,首先在简单的AWGN信道下进行仿真验证,仿真过程中在相同比特传输效率下将TDHM技术与分块FTN技术进行对比仿真突出其误码性能方面的优势。最后研究相干光通信系统中的这种分块FTN技术,通过长距离传输来分析其系统各方面的性能。