频谱效率是现代数字通信系统设计的关键指标,超奈奎斯特(FTN)传输技术能够在不改变占用带宽的条件下通过压缩波形传输间隔以提高数据传输速率和频谱效率。然而FTN频谱效率的提升以引入码间干扰(ISI)为代价,且随压缩比增大,其引入的ISI愈加严重,导致基于最优准则的检测算法更加复杂。因此设计一种能够平衡复杂度与性能的次最优检测算法成为一个重要的研究课题。本文的主要研究内容包括:分析研究了针对小压缩比FTN系统信号的检测技术。本文基于三种观测模型实现对FTN信号的建模,引入串行干扰消除算法和BCJR算法,实现对小压缩比FTN系统信号的迭代均衡检测。在压缩比为50%的BPSK调制FTN系统中,两种检测算法在信噪比为4 dB时达到理想性能界。针对大压缩比FTN系统中BCJR算法复杂度过高的问题,本文比较研究了几种次最优检测算法,包括offset-BCJR、M-BCJR、M*-BCJR和U-M-BCJR,并引入外信息交互图(EXIT chart)对上述算法进行迭代收敛分析。在压缩比为65%的BPSK调制FTN系统中的仿真表明,本文研究的几种低复杂度BCJR算法均能实现对FTN信号的有效检测。最后,设计了一种基于码树回溯的M-BCJR算法,进一步降低了BCJR算法的复杂度。本文基于码树理论对BCJR算法数学建模,并拓展至M-BCJR算法。接着针对M-算法软信息输出不稳定的问题,分别提出两种码树回溯辅助算法:回溯拓展码树和回溯拟合码树。分析表明,回溯M-BCJR算法相比于其他M-BCJR算法,减少了一半重复的递归计算和码树扩展,从而有效降低了BCJR算法的复杂度。在压缩比为65%的BPSK调制FTN系统中进行了仿真,在相同的误码性能下,相比于其他M-BCJR算法,新算法的复杂度减少50%~97%。