随着互联网时代的到来,云计算、大数据、物联网等技术迅猛发展,我们已经生活在一个全新的信息化、数字化时代。互联网用户量激增,用户对信息的需求也呈指数型增长,短距离光通信在城域网系统中距离用户最近,和用户利益联系最紧密,因此如何提高频谱效率,降低成本成为了重点研究的课题。本文就短距离光通信系统做了如下研究:研究在短距离直调直检系统中增加频谱效率的两种方式,一种是应用频谱压缩,主要为超奈奎斯特(FTN);另一种是应用高阶调制格式,主要为脉冲幅度调制(PAM)、无载波幅相调制(CAP)、离散多音调制(DMT)。其中对四进制脉冲幅度调制(PAM4)的短距离光通信系统进行了详细研究和仿真实现,包括发送、传输以及接收。研究PAM4短距离直调直检通信系统中,接收端的数字信号处理主要包括均衡、后置滤波以及判决三个部分。本文中,均衡采用最小判决均方算法,并针对算法收敛性进行了改进;在后置滤波算法中,分别对传统2抽头和经过改进计算的3抽头对系统影响进行了仿真,结果表明在信噪比为9-14dB范围内,尤其在带宽为14-16GHz情形下,3抽头系统误码率明显小于2抽头系统,如信噪比为14dB,带宽为16GHz时降低了一个单位;进而根据抽头系数等高线验证最优抽头系数计算方法的正确性,结果表明系统仿真的抽头系数值和利用矩阵计算的抽头系数值一致,且利用矩阵计算的系统得出的Q值也为最佳值。判决采用最大似然算法(MLSE)和最大后验概率算法(BCJR),并针对各个阶段进行了改进。针对两种判决算法的系统性能分别仿真,结果表明BCJR系统性能更好,在状态数为8,信噪比为14dB,带宽为12GHz时,BCJR Q值比MLSE升高了 1个dB。最后对BCJR系统量化比特值进行研究,结果表明当量化比特值大于4时,系统性能接近理论值。未来FTN短距离通信系统和卷机码等技术结合时,BCJR算法有良好的应用前景。