本世纪以来,随着云计算、物联网、网络直播、元宇宙等各种互联网业务不断发展,第五代移动通信完成铺设开始普及,网络流量的分布逐渐演变为新的形态。持续增长的用户和终端数量,日趋多样化的网络业务,使中短距光纤通信系统流量逐渐超越传统的长距骨干网流量。当前,中短距光纤通信系统面临着频谱资源有限、成本敏感与通信容量需求增长之间的矛盾。研究调制复用技术和简化接收方案,对于实现高频谱效率、低成本的下一代光纤通信系统具有重要意义。本论文针对中短距光纤通信系统的实际需求,开展了低成本高频谱效率直接探测系统的仿真和实验研究,探索了基于多载波调制技术的优化方案,实现了多种简化接收架构,主要研究内容与创新性成果如下:（1）针对正交频分复用（OFDM）调制技术存在的频谱泄露问题,开展了非正交复用的滤波器组多载波（FBMC）技术研究。FBMC系统中的原型滤波器能够放宽载波正交条件,减少循环前缀成本,相比离散多音频调制具有更高的频谱效率。针对FBMC系统对同步误差敏感且同步算法计算复杂度高的问题,提出了基于稀疏傅里叶变换的简化帧同步算法。经过仿真分析,该算法在不同的下采样系数和信噪比条件下均能正确检测同步峰值。通过以10 Gbaud和20 Gbaud速率的背靠背和50 km光纤传输实验,验证了该算法的可靠性,其计算复杂度降低为基于傅里叶变换的同步算法的10.2%。（2）针对当前部分简化相干接收机所存在的接收端器件成本和算法复杂度较高,而频谱效率较低的问题,提出了基于求解时域强度传输方程（TIE）的正交频分复用系统简化接收方案。借助在色散介质前后的两次强度探测,构建出时域强度传输方程,通过求解该方程恢复出复场信号的相位信息。此方案在接收端仅需两个光探测器,光谱效率达到离散多音频调制的两倍。在此基础上,优化了载波信号功率比、色散值、采样率等关键参数,分析了波特率、激光器线宽和频率偏移等因素对相位检重构表现的影响。当采用TIE方案接收16QAM OFDM信号时,其最优载波信号功率比相比Kramers-Kronig接收机和单载波TIE方案高1～2 d B。此外,对基于TIE的OFDM系统进行了自适应调制的概念验证,将有效比特率提升了12.8%。为了应对不同用户的差异性需求和信道条件,将功率复用应用到此接收方案中,以提高接入网的频谱效率。在同步和异步的下行链路中,分析了光信噪比、解复用方法或传输距离对用户性能的影响。（3）针对直接探测OFDM系统中色散或带宽受限引起的功率衰落问题,提出了基于实值调制直接探测的信号重构算法。在接收端带宽受限的场景下,利用单个带宽略大于符号速率一半的单端光探测器,结合频谱移动和希尔伯特变换,能够从被滤除一个边带的频谱中恢复离散多音频信号,接收端电谱效率为强度调制直接检测的两倍。此方案中,色散导致的影响可通过数字算法补偿,信号与信号拍频干扰可利用迭代消除,并使得低带宽光探测器和模数转换器能够兼容更高速的传输场景。通过数值仿真分析了载波偏移、载波信号功率比、光信噪比、接收端带宽限制等因素的影响。在实验中,将信号光和载波光采用同源激光器发射,从而减少频率偏移和相位噪声,以提升信号质量。在背靠背和25 km光纤传输场景下,比较了通过掺铒光纤放大器和通过注入锁定激光器放大载波光功率的性能表现,后者呈现出低噪声高选择性的放大效果,实现了2 d B的接收机灵敏度提升。