近几年,滤波器组多载波(Filter Bank Multicarrier,FBMC)调制系统的研究重新被学者提出并深入挖掘。这是因为FBMC具有两个特性:一是系统可以通过在频域对子信道进行优化获得期望的频谱约束,二是系统在不使用冗余的CP情况下能够更有效地使用信道资源。然而当传输信号经过FBMC系统时,受滤波函数特性的影响在时域和频域会产生混叠干扰。再者,信号经过具有随机时变的信道时,因信道多径传播特性和衰落的不可预测性会受到一定程度的干扰。所以,对FBMC中的信道均衡的问题研究很有必要。本文对FBMC中的信道均衡问题进行了研究,内容由以下三个部分组成:1.针对FBMC系统结构,分析其系统的等效信道和FBMC系统存在的干扰。并对FBMC系统存在的干扰进行了研究并量化,得出FBMC系统的干扰可由两部分组成:一部分是因原型滤波器函数特性引起的固有干扰,另一部分是由信道多径传播特性和衰落的不可预测性产生的衰落干扰。2.为解决干扰,提出一种基于快速卷积的内嵌均衡的设计方案。该内嵌均衡通过调节接收端滤波器组权重系数完成滤波和均衡的双重目的,即将均衡系数内嵌到权重系数中。且利用信道的Toeplitz矩阵的渐近性和快速卷积的性质,实现了一种低复杂度子载波频域均衡。最后,验证该方案的可行性并和几种传统均衡方案进行对比。结果表明,在子载波处于高频率选择性的信道时对系统误符号率性能改善较传统方案更好。而且因其基于快速卷积设计,均衡系数具有高度可调的特性,均衡方案更为灵活。3.在接收端考虑基于快速卷积的内嵌均衡设计时,误符号率性能不是太好。基于此,提出一种在系统发送端实现内嵌均衡,再利用幅度相位受控均衡策略进行改进基于快速卷积的内嵌均衡的设计。结果表明,在信道函数特性理想的情况下,通过和改进前的内嵌均衡作对比,其在改善误符号率性能方面优于后者。