正交频分复用(OFDM)技术是通信系统中的热点问题。结合多天线技术以及中继增强型通信系统，本文研究了MIMO-OFDM系统中载波间干扰的产生以及发送端预处理方案和接收端均衡技术、用于OFDM子载波间功率分配的码本设计方案、中继增强型通信网中OFDM系统的功率分配以及多中继间的联合优化等问题。主要内容如下： 1. 提出了一种简化的用于OFDM系统子载波间功率分配的码本设计方案。该方案以最小化误比特率为出发点，生成了一种统计最优的功率分配码本。与现有的矢量量化的Lloyd搜索算法相比，这种新的码本设计方案不需要产生大量的信道码本空间，因此可以在较为简单的情况下设计生成，避免大量的搜索过程。另外，由于这种新的功率分配码本设计方案只与系统子载波个数有关，与移动终端随机参数无关，因此具有更好的鲁棒性。 2. 提出了一种发射端抑制OFDM载波间干扰的参数化多项式对消编码方案。在已知信道某些统计参数的条件下，可以提高编码的有效性。这种基于参数化的多项式对消编码方案不仅可以克服由于频率偏移所产生的载波间干扰，也可以被应用在信道快时变的情况下。理论分析表明，通过参数的优化可以使系统的载波干扰比达到统计最大化。 3. 针对OFDM系统的载波间干扰问题，提出了接收端的简化分层检测方案。将线性快时变信道环境下，载波间干扰的统计特性推广到一般情况下，提出了一种基于干扰消除的线性检测方法，它可以获取较好的系统性能，同时又不需要付出太高的计算复杂度。 4. 针对用户单天线的MISO通信环境，提出了一种利用发送端空间分集抑制OFDM系统中的载波间干扰的相位旋转调制方案。与传统的多项式对消编码方案相比，这种新的思路可以在空间资源环境允许的情况下提高频谱资源利用率。 5. 针对中继增强型OFDM通信系统，提出了一种源节点与中继节点的联合功率优化方案。在给定系统传输速率的要求下，寻求最小化系统发送总功率。通过仿真和分析可以看出，所提出的这种新的功率优化方案可以有效地降低源节点与中继节点所需的发送功率，对于延长源节点与中继节点电池的使用寿命具有实用价值。 6. 针对多中继辅助多天线网络通信系统，讨论了中继端的联合优化问题，并提出了一种次优的优化设计方案。由于考虑到实际系统中不可能要求每个中继都知道相互协作的所有中继与基站和用户端的全部信道状态信息，我们仅对中继端进行独立的最优信号接收处理和信号发送预处理，并对多个中继进行联合的功率优化。实验证明，与简单的等功率续传方案相比这种次优的设计方案可以有效地利用由于多中继传输所引入的空间分集，从而能显著地提高系统的传输速率。 7. 针对中继辅助通信网络系统，讨论了MIMO多用户通信环境下多中继并行传输的联合优化问题。针对实际系统中，每个中继节点不可能知道其余所有中继节点信道信息的特点，提出了一种简化的线性优化方案，它只需要已知当前中继本身与通信用户间的信道信息，并通过信道矩阵特征分解得到中继端的线性优化矩阵。由于缺少了多中继间的联合优化，由多中继并行传输所引入的空间分集无法充分利用。因此我们从多用户分集的角度，通过多用户调度，在等待服务用户中选择中继协作分集增益较大的用户对其进行服务，从而巧妙地发掘了多中继空间分集，达到了提高系统总吞吐量的目的。