随着数据流量和信息速率的迅速增加，如何利用有限的频谱资源，实现更加高速可靠的数据传输，成为无线通信系统中亟待解决的问题，而超奈奎斯特(FTN)信号传输将是可行的解决方案之一。与传统的奈奎斯特信号传输相比，FTN信号传输突破了奈奎斯特速率的限制，使符号速率超过奈奎斯特速率，但保持误码率及发送信号的带宽不变，即在不降低通信系统可靠性的情况下，提高了通信系统的有效性。　　然而，在FTN通信系统中，发送的成型脉冲在时域上不再相互正交，采样时会有码间串扰。最大似然序列检测是FTN通信系统的最佳检测算法，能消除引入的所有码间串扰，但其复杂度非常高，不具备实用价值。如果通信系统所需的误码率大于最佳检测的误码率，就能用“过剩的误码率”来换取“复杂度的降低”，即用低复杂度FTN检测算法代替最佳检测。如何在保证系统可靠性满足要求的前提下，尽可能降低检测的复杂度，是FTN通信系统需要解决的关键问题。　　在现有的低复杂度FTN检测算法中，迭代块判决反馈均衡(IBDFE)能以较低的复杂度达到与最佳检测相近的误码率，有效降低了FTN检测的复杂度，但其复杂度仍能进一步降低。本文在IBDFE的基础上，简化了前馈和反馈滤波器的设计，为FTN通信系统提出了RC-IBDFE，并对其进行了仿真验证。数值结果和分析表明，与IBDFE相比，RC-IBDFE的健壮性明显更优、复杂度大幅降低、误码率稍有降低;与LC-IBDFE相比，RC-IBDFE的复杂度稍高，但其健壮性明显更优、误码率稍有降低。　　为在RC-IBDFE的基础上，进一步降低FTN检测的复杂度，本文以最小化引入的码间串扰为准则，采用时频域能量聚集性最优的脉冲，即0阶椭圆球面波函数(PSWF)，设计了FTN通信系统的成型脉冲，并进行了仿真验证。同时，针对目前无法得到PSWF解析解的问题，本文推导得到了PSWF的近似解析解表达式，获得了任意采样率下的各阶PSWF的近似数值解。数值结果和分析表明，与常用的根升余弦脉冲相比，将0阶PSWF作为FTN通信系统的成型脉冲时，RC-IBDFE仍具有很好的健壮性，且其复杂度、误码率均大幅降低。