自从20世纪90年代中期以来,通过空时编码实现的发射分集和空间复用方案一直是无线通信领域研究的热点。多输入多输出(Multiple-Input Multiple-Output,MIMO)技术能够充分利用空间资源,提高频谱利用率和链路可靠性。获得MIMO系统这些好处的一个行之有效的方法就是空时编码。空时编码技术综合考虑信道编码、调制、发送分集和接收分集,将它们有机结合,可以有效提高MIMO系统的传输性能。本文致力于MIMO无线通信系统中的空时分组编码的研究,研究内容概述如下：首先,针对复正交设计的空时分组编码在发射天线数大于2时,不能达到最大传输速率的问题,研究了准正交空时分组编码,提出了适用于四发射天线的准正交空时编码方案。在平坦瑞利衰落信道下,Alamouti空时分组编码是唯一具有正交的复矩阵设计,由于编码矩阵的正交性,可以实现全速率传输,并能获得满分集增益。发射天线数大于2的复编码矩阵,若要获得全速率传输,只有靠牺牲编码的部分正交性而采用准正交编码方案。在研究现有准正交空时分组码的结构、特点和设计准则基础上,提出了可获得全速率和部分分集增益的几种准正交空时分组编码结构,并总结了准正交编码矩阵的构造特点,采取了QR分解和迫零检测等方法对译码性能进行分析。其次,空时分组编码实现相干解调依赖于确知的信道状态信息,所以MIMO信道估计对信号检测、信道译码至关重要。针对时间频率双选择性衰落信道下的基于叠加训练序列的信道状态信息估计问题,分析了基于叠加训练序列估计方法,提出了基于叠加信息训练序列和最小二乘法相结合的信道估计方法。采用等幅度的周期指数序列作为训练序列,同时叠加一个基于信息序列的周期序列以消除未知信息序列对训练序列的干扰,接收端利用接收数据的一阶统计特性估计出信道矩阵。新的估计方法与传统的估计方法比较,可以改善信道估计的均方误差和误码性能,不占用额外系统带宽,并能保持较高的频带利用率。再次,研究了频率选择性衰落信道下未知信道状态信息的多天线差分编译码方法。在信道估计困难时,差分编码是一种很好的解决方案。针对差分空时编码ML译码方法的译码复杂度随星座图点数呈指数增加的问题,在高信噪比条件下,改进了传统ML译码方法。分析了最大似然检测的差分空时编码的传统译码方法,提出的快速ML译码方法,在接收端没有获得信道状态信息的情况下,即可以获得最大空间多径分集增益,又可以使译码复杂度大大降低,而且性能接近传统ML译码方法,并给出了译码复杂度测算结果和性能仿真。最后,研究了虚拟MIMO技术下的空时协作分集。MIMO技术能有效提高系统容量,但由于受到移动终端尺寸、功耗的限制,在上行链路上难以配置多根天线。协作分集技术是利用网内的其他单天线用户构成协作伙伴,形成虚拟MIMO系统来中继传输信息,在单天线终端实现空域分集。在分析了现有的协作方法基础上,提出了差分编码和空时编码相结合的协作分集方案,在移动台协作端使用差分解调,在上行链路使用正交空时编码,推导了整个系统的收发关系表达式,最后对设计的编码方案的误比特率和信道容量进行了仿真验证和分析。