近年来,移动通信技术飞速发展,第五代移动通信（Fifth Generation Mobile Comminication,5G）已正式开始商业应用,各大学术机构正争相对第六代移动通信（Sixth Generation Mobile Comminication,6G）展开研究,其中高通量卫星对地面移动网络具有不可或缺的补充作用。然而,目前高通量卫星频谱资源紧张,频谱效率较低,其容量和传输速率远无法满足6G的需求。超奈奎斯特（Faster-Than-Nyquist,FTN）系统因无需额外带宽和天线即可提升传输速率和频谱效率的特性而备受业界关注,被看作可为高通量卫星带来革命性进步的技术,可用于应对未来6G新应用场景中的新指标需求。具体而言,FTN系统具有双重优越性:FTN系统独立且兼容于现有频谱效率提升技术,结合现有频谱效率提升技术可以进一步提升频谱效率的极限;与奈奎斯特系统常用的高阶调制方式和低滚降因子相比,FTN系统对相位噪声和定时误差并不敏感。然而,FTN系统违背奈奎斯特准则,因而势必引入码间干扰（Inter-Symbol Interference,ISI）,如果不加以消除,所引入的ISI会降低系统的误比特率（Bit Error Rate,BER）性能。聚焦高通量卫星的星地链路,本文致力于从三个方面对FTN系统进行充分研究:其一,容量和频谱效率;其二,不同卫星通信场景下ISI消除技术;其三,失真问题研究。论文的主要创新点总结如下:1.作为一种极具前景的频谱效率提升技术,系统容量和频谱效率是FTN系统研究的基石。目前,关于FTN系统的受限容量,业界已有较为充分的研究,研究表明FTN系统容量不低于奈奎斯特系统容量,当且仅当成形脉冲为sinc脉冲时两者相等。另一方面,作为FTN系统的另一项关键性能指标,频谱效率提升率直接表明和反映FTN系统相较于奈奎斯特系统的优越性,对于FTN系统的设计具有重大指导意义;然而,业界仍将加速因子作为FTN系统频谱效率提升率的唯一评估指标,鲜有针对频谱效率提升率的详细研究。面向高通量卫星,论文以升余弦滚降滤波器作为FTN系统的传输函数,推导了单载波FTN系统的容量,并与奈奎斯特系统容量对比,明确得出了单载波FTN系统的频谱效率提升率与加速因子、滚降因子的直接关系,完善了FTN系统研究的基础。2.针对卫星信关站场景下符号估计精度低的问题,论文提出了三种算法以消除FTN系统ISI:多层迭代符号干扰消除及其联合均衡算法、基于循环前缀/后缀的GTMH（G To Minus Half,GTMH）预编码算法和基于循环卷积的GTMH预编码算法。现有连续符号干扰消除算法的估计精度较低,仅适用于低阶调制方式和极轻度ISI。所提多层迭代符号干扰消除及其联合均衡算法实现复杂度极低,可同时消除当前符号前后两侧符号所引入的ISI,在轻度ISI情况下逼近奈奎斯特系统的BER性能。传统预编码算法忽略发送符号块间干扰,而所提基于循环前缀/后缀的GTMH预编码算法和基于循环卷积的GTMH预编码算法分别借助循环前缀/后缀和循环卷积精准构造了FTN系统码间干扰矩阵,具有更低的误差向量幅度（Error Vector Magnitude,EVM）,因此可在中、重度ISI情况下逼近奈奎斯特系统的BER性能;其预编码和解码过程可以借助快速傅里叶变换（Fast Fourier Transform,FFT）及其逆变换（Inverse Fast Fourier Transform,IFFT）实现,具有较低的实现复杂度。此外,鉴于GTMH预编码算法改变了发射信号的频谱特征,论文推导并揭示了采用GTMH预编码算法的FTN系统的频谱扩展、实际最大频谱效率提升与加速因子以及滚降因子的直接关系,对设计采用GTMH预编码算法的FTN系统具有重大指导意义。3.针对中小卫星接收端场景下信道和符号估计精度低的问题,论文提出信道估计和预编码联合算法,以同时消除多径和FTN系统导致的ISI。信道估计方面,现有算法由于其导频设计的缺陷,无法同时估计前向多径和后向多径,而所设计的导频结构使得所提信道估计算法可同时估计前向多径和后向多径,且所提信道估计算法在发射机对导频进行预编码处理,缓解了矩阵求逆带来的噪声放大现象,极大提高了信道估计精度。信道信息引入至有效载荷符号的预编码过程,可同时消除多径和FTN系统引入的ISI。所提信道估计和预编码联合算法相较于现有算法具有双重优势:其一,所提算法构造的码间干扰矩阵为循环矩阵,因此其可以利用FFT/IFFT实现,具有更低的复杂度;其二,所提算法具有更低的EVM、更高的信道估计和符号估计精度,可在保证极低BER损失的前提下提升高通量卫星通信系统的频谱效率。4.FTN系统失真方面,论文针对现有分数间隔均衡器无法利用传统导频进行训练以更新其抽头系数的问题,提出了基于预编码的快速分块分数间隔均衡器,以消除输入多路复用滤波器和输出多路复用滤波器所产生的线性失真,其与所提预编码算法结合可以同时消除线性失真和FTN系统ISI。所提快速分块分数间隔均衡器通过在发射机对导频进行预编码处理,精准构造了接收导频符号,使得其可以无视ISI进行训练和抽头更新,因此具有更好的收敛与均衡性能。而且,由于主要依靠FFT/IFFT实现,所提基于预编码的快速分块分数间隔均衡器具有高吞吐率的并行结构。另外,论文通过绘制FTN系统发射信号的互补累计分布函数曲线,充分分析了FTN系统发射信号的峰均比问题,并在此基础之上研究了高功率放大器的饱和输入、输出功率回退的偏移,阐述其对FTN系统功率效率的影响。通过以上研究,论文丰富和完善了FTN系统中容量和频谱效率、ISI消除、信道估计、失真消除等方面研究的理论架构,为FTN系统的更深层次研究提供思路,为FTN系统在高通量卫星中的应用奠定理论基础。