随着无线通信设备数量的不断增加以及人们对通信服务多样性需求的增长,数据通信的流量飞速增长。面对日益紧张的频谱资源,如何提高通信系统的频谱效率就变得非常重要,超奈奎斯特(FTN)技术可以通过提高系统的频谱效率来缓解这一问题,具有一定的应用前景。本文对超奈奎斯特系统进行了深入的研究。本文研究了两种FTN系统模型,分别是基于MAP准则的时域均衡系统模型以及基于MMSE准则的频域均衡系统模型。为了进一步提高系统的性能,我们还在时域均衡系统中引入了预编码技术,并提出了一种基于AMI最大化准则的预编码优化方案。本文的主要研究工作包括:1.研究基于MAP准则的FTN时域均衡系统,并引入均衡器与译码器的Turbo迭代结构提高性能,从性能与复杂度两个方面对系统进行了仿真与分析。通过仿真可以看到,在相同谱效下,成形脉冲的滚降因子越低,系统的性能越好。2.研究基于MMSE准则的FTN频域均衡系统,同样引入均衡器与译码器的Turbo迭代结构以提高性能。给出并推导了适用于任意阶固定星座调制的均衡器外信息计算公式。本文还从性能与复杂度两个方面对系统进行了仿真与分析,并与基于MAP准则的时域均衡系统进行了对比。通过仿真可以看到,在频域均衡系统中,在相同谱效下,同样是成形脉冲的滚降因此越低,系统的性能越好。对比两种均衡系统,在成形脉冲滚降因子较低时,频域均衡系统性能较优;滚降因子较高时,时域均衡系统性能较优。3.研究FTN系统预编码优化方案,提出了一种基于AMI最大化准则的预编码优化方案,以系统的AMI作为优化指标,以骨干粒子群算法作为优化工具对预编码进行优化搜索。通过预编码改善信源的分布,从而进一步提高系统的性能。通过仿真可以看到,通过本文提出的预编码优化方案的优化,预编码在QPSK下可以获得0.15dB的增益,在16QAM下可以获得0.35dB的增益,证明了本文提出的预编码优化方案是可靠、鲁棒的。