正交频分复用(OFDM)是当下应用最为广泛的多载波传输技术,其具有结构简单,理想状况下无载波和符号间干扰及与多天线技术完美结合等优点。然而,随着第五代移动通信的发展,OFDM所具有的旁瓣泄漏大导致在由于频率时间同步有偏差时正交性丢失,以及由于添加循环前缀(CP)导致频谱效率低下等缺点就凸显出来了,限制了其在第五代移动通信中的应用,因此,人们一种新的技术,滤波器组多载波(FBMC)。与OFDM相比,FBMC频率聚焦性强,频谱效率高,然而,FBMC在系统结构上比OFDM复杂很多,在一些关键技术上需要更加复杂的算法。本文首先对FBMC系统进行了详细研究,并与OFDM系统进行了对比,指出与OFDM的区别和特性。其中最重要的一点就是系统的固有载波间和符号间干扰问题。由于固有干扰的存在,在FBMC信道估计中不能使用传统OFDM中的导频方法,第三章针对FBMC中的信道估计问题进行了研究,对现有的导频对(POP)和干扰近似方法(IAM)进行了研究和仿真,指出了其缺陷,并在IAM方法的基础上提出了一种创新的用于消除系统固有干扰而进行准确信道估计的辅助导频方法(AP),仿真结果表明了采用辅助导频可以有效消除干扰,并达到比OFDM更优的性能。接下来,本文提出了一种自适应均衡算法,用于FBMC接收机,用以改善基于导言的信道估计的性能低下问题。另外,由于固有干扰的存在,也会导致FBMC与MIMO技术结合中的一些方面与OFDM不同。本文首先分析了FBMC-MIMO中的最大似然(ML)检测中存在的问题,然后提出了一种创新的MMSE-ML方案用于最大似然检测,并进行了仿真。