人们对信息需求的增长与有限的可利用的频谱资源之间的矛盾,要求下一代的通信系统必须具有更高的频谱效率,才能满足通信容量迅速增长的需求。多输入多输出(MIMO)技术可以显著提高系统的频谱利用率、传输效率和性能。在未来无线通信系统中具有良好的应用前景。连续相位调制(CPM)模式,通过平滑符号间过渡相位来改善谱密度特性。它是一种性能优良的调制模式,是各种新型移动通信、无线电台的主要调制模式之一。本文从MIMO和CPM的基本原理出发,针对MIMO-CPM系统的几项关键技术进行了探索与创新性研究。无线信道是影响传输系统数学模型和算法设计的关键因素。基于已有的理论成果,本文给出了一种非线性相关信道模型的建模方法,从空间相关性着手,采用经典的Jakes模型来生成衰落信号并结合非线性功放的特性,提出了非线性MIMO相关衰落系数矩阵的产生方法。另一方面,本文分析了2天线正交空时编码的CPM(OST-CPM)系统的最大似然序列检测算法(MLSD)在非线性MIMO相关信道中的性能特性。信道相关性对OST-CPM系统的影响与对空时编码结合线性调制模式时的影响类似,它将导致OST-CPM系统MLSD算法的编码性能下降,但是分集增益不变,而且仍可达到满增益。当存在非线性失真时,本文采用预失真电路来补偿非线性功放对OST-CPM系统MLSD算法性能的影响。由于CPM信号的恒包络特性,非线性功放对OST-CPM系统的非相干检测算法的编码性能基本没有影响。这也是MIMO-CPM系统优于多天线结合线性调制模式系统的主要性能之一。MIMO-CPM系统的另一个关键技术是空时编译码问题。利用CPM信号的Rimoldi分解思想,本文提出了两种空时编码CPM系统的设计方法,空时编码采用Zp域上的卷积编码和空时网格编码方式。这两种联合编码的CPM系统不仅适用于RC和REC成形的全响应CPM信号,而且适用于部分响应CPM信号。通过将空时编码与CPM信号中的CPE模块联合编码设计后,系统的整体编码方式相当简单。虽然空时编码结合部分响应CPM信号的STC-2RC-CPM系统比全响应的STC-1RC-CPM性能略差,但是由于部分响应CPM信号具有更高的频谱利用率,因此在实际通信系统中具有更广的应用前景。针对OST-CPM系统,本文又提出了一种适用于RC以及REC成形的全响应CPM信号的非相干检测算法。在准静态衰落信道中,非相干检测算法的性能虽然比MLSD算法的性能略差,但是由于该算法不需要知道信道状态信息,因此具有实用价值。然而在快Rayleigh衰落信道中,当增加观察窗口长度时,非相干检测算法的性能急剧恶化,这也是该算法的应用局限。同步是通信系统接收机工作的基础。针对MIMO-CPM系统,本文提出了两种基于不同形式的训练序列的符号定时估计算法。两种符号定时同步算法均不依赖于具体的空时码型,因此适用于任意的空时编码结合CPM信号的MIMO-CPM系统,具有很强的通用性。方法二较方法一具有更简单的结构、更少的运算量、更广的应用范围以及更优的估计性能。空时网格编码CPM系统在非理想同步情况下采用方法二时的误帧率(Frame Error Rate,FER)性能下降不大。但是,当衰落速度增加时,方法二的均方误差性能逐渐下降,因此该算法不适用于快衰落的Rayleigh信道。