基于中继的无线协作通信技术在提升系统吞吐量、扩大小区覆盖和节省发射功率等多方面都拥有优势，是下一代移动通信系统LTE-Advanced和WiMAX中较有前景的技术。近几年提出的双向中继传输又使得协作通信的频谱利用率得到了成倍提升。另一方面，多输入多输出（Multiple-Input Multiple-Output，MIMO）已被看做是近十年无线通信领域最具突破性的技术之一。通过合理的预编码设计，MIMO技术可显著提高无线传输的可靠性和有效性。本论文旨在研究MIMO双向中继系统中的预编码设计，以同时挖掘双向中继和多天线所带来的增益。一般来说，双向中继系统中的预编码设计问题具有非凸性，最优求解难度较大。其特有的双向传输特性也使得传统点对点、单向中继系统中的预编码设计方法和结论无法适用。因此，为将双向中继传输推广至实际应用，研究多天线双向中继系统中的预编码设计不仅十分必要和迫切，还具有很强的挑战性。本论文的主要工作和创新点包括：　　首先，针对单用户对双向中继系统中的线性联合预编码设计，提出了以最小化系统均方误差之和为目标的优化问题。通过对联合优化问题进行子问题分解，提出了交替迭代算法以获得局部最优解。同时，给出了能在性能和复杂度之间折中的低复杂度预编码设计算法。仿真结果表明，所提出的源节点和中继节点联合预编码设计算法可获得多天线分集增益，显著改善系统传输可靠性。　　第二，在非完备信道信息条件下，研究了有多个单天线中继节点的单用户对双向中继网络的鲁棒中继预编码优化问题。以最大化最差用户速率为设计目标，本论文构建了包含信道误差的鲁棒优化数学模型。通过使用S定理，将该鲁棒优化问题转化为松弛半正定规划问题。利用特征向量近似方法，获得了原问题有效解。当信道误差较小时，该有效解可获得接近最优性能。　　第三，针对单用户对双向中继系统的非线性联合预编码设计，提出了两种预编码方案以最小化系统均方误差之和。对于给定中继预编码矩阵的非线性源节点预编码设计，本论文推导出了最优预编码结构并给出最优求解算法。对于非线性联合预编码设计，提出交替迭代算法以获得联合优化问题的局部最优解。仿真结果表明，非线性联合预编码设计要优于线性联合预编码设计，但当中继节点天线个数远大于源节点天线个数时，线性中继预编码设计可优于非线性源节点预编码设计。　　第四，针对蜂窝多用户双向中继网络，在保证下行链路服务质量的前提下，以最小化上行链路均方误差之和或最大化和速率为目标，分别研究了基站预编码设计、中继预编码设计、以及基站和中继联合预编码设计。通过利用和改进二阶锥规划和松弛半正定规划等优化理论，获得了上述预编码设计问题的最优解或局部最优解。同单用户对模型类似，仿真结果再次论证了中继预编码在提升系统性能方面的优势。　　第五，针对多用户对双向中继网络，中继预编码设计的目标旨在保证各用户间可达速率公平性。通过将原优化问题转化为一系列半正定规划子问题并使用随机化方法，获得了接近性能上界的近似最优解。此外，通过提出一种可消除不同用户对间干扰的块对角中继预编码结构，有效降低了预编码设计的复杂度。仿真结果验证了所提出的中继预编码设计方法在保证用户公平性以及系统和速率方面具有较强优势。　　最后，针对认知双向中继网络，在保证主用户服务质量的前提下，以最大化次用户传输速率为目标，较全面地研究了次用户发送节点（即中继节点）转发策略选择、功率分配和预编码优化问题。通过利用Charnes-Cooper变换和半正定规划等优化理论，求解出了所有优化问题的最优解。当广播时隙信道部分或完全平行时，还推导出预编码最优闭式解。仿真结果显示，当两主用户目标速率对称时，比特异或解码转发策略具有较好性能。反之，叠加编码解码转发策略具有较好性能。该研究为双向中继和认知无线电的结合提供了有效的理论支撑。