MIMO中继协作技术有潜力成为未来移动通信系统的关键技术,是解决高传输速率和泛在覆盖的有效方案。中继节点的信号处理方法是制约MIMO中继传输性能的关键因素。本论文针对MIMO中继传输系统,重点研究中继节点信号处理与功率分配优化问题,采用优化理论,提出中继节点信号处理的最佳设计方案。为了深入理解中继传输的信道特性,论文研究了莱斯衰落下的中继信道特性,推导得到了接收信号的幅度衰落分布、信道时域相关特性表达式,以及空域相关特性,给出了不同阵列结构的相关性特点。在给出了中继链路和分集中继的最佳线性接收机结构后,论文研究了有色噪声下的中继增益矩阵设计。基于矩阵分解的方法,提出了统一的中继增益矩阵结构。通过噪声白化处理,拓展了AF、ZF、QR和SVD中继信号处理方法的应用,并且提出了MMSE中继信号处理方法,给出了MSE和可达速率的表达式,仿真分析得出MMSE与QR具有较好的性能。然后,本文从优化的角度,建立了中继信号处理优化问题的统一数学模型。借助优化理论中的控制不等式,给出了中继信号处理的通用解的结构形式,并且拓展到了ZF接收机和QoS约束下的功率分配问题。在此基础上,论文研究了MIMO中继传输系统的源节点和中继节点联合优化问题,同样提出了一系列优化目标下的统一解,并针对联合的功率分配优化,给出了迭代算法和两种次优的算法,仿真分析表明它们有接近最优分配的性能。当MIMO中继用于多用户信息传输时,中继信号处理方法的设计更加复杂。本文针对最小化MSE优化问题,利用MU-MIMO的多中继传输系统的上下行对偶原理,提出了求解多用户MIMO多中继联合优化算法,并根据中继增益矩阵的特性,提出了两种次优的解法。研究表明次优算法接近最优算法的性能。