与单向中继（One-Way Relaying，OWR）协同通信相比，双向中继（Two-WayRelaying，TWR）协同通信可以大幅提高频谱资源利用效率和系统传输速率，因而正成为协同通信领域中一个新的研究热点。基于线性非再生（LinearNon-Regenerative，LNR）协议的中继方案设计方法简单、要求的先验信息少且实现算法具有复杂度低、易于快速计算等优点因而得到了广泛的关注。目前，关于采用LNR协议的TWR协同通信的研究内容主要集中于三个基本的网络模型，分别是集中式双向中继网络（Centralized Two-Way Relaying Networks，CTWRNs），分布式双向中继网络（Distributed Two-Way Relaying Networks，DTWRNs）和多对用户双向中继网络（Multi-Pair Two-Way Relaying Networks，MPTWRNs）。本文分别对三种模型的中继策略设计和相应信号处理技术中的热点和难点问题展开了详细的研究。论文首先阐述了基于LNR协议的TWR协同通信系统一般模型。文中详细描述了双向中继网络（Two-Way Relaying Networks，TWRNs）中的信号传输流程和各节点中信号处理过程，并根据信号处理过程定义了TWRNs中的一些通用系统参数和性能指标，为进一步的细化研究打下了基础。针对CTWRNs，本文主要研究了该类型网络中基于波束成形技术的中继策略。文中首先回顾了已有参考文献中的典型设计方法和结论。然后，在假设各通信节点均已知信道状态信息（Channel State Information，CSI）的基础上，提出了一种各节点（包括用户节点和中继节点）基于系统最小均方误差和（Minimizing the Sumof Mean Square Errors，MSMSE）的波束成形联合最优设计方案，解决了该类型系统最优联合波束成形设计问题。针对最优方案实现算法复杂度高的特点，论文进一步分析了该方案中各波束成形参数的数学和物理意义，并得到了具体结论。根据这些结论，提出了一种基于MSMSE的次优波束成形设计方案，解决了传统次优算法虽然复杂度较低但是性能损失严重这一问题。文中从算法复杂度和收敛速度两方面系统的分析、比较了最优MSMSE算法和次优MSMSE算法。结果表明次优设计的算法复杂度大幅度降低，收敛速度也得到了提高。仿真结果显示，基于MSMSE的波束成形联合最优设计具有最优的系统性能，而当中继节点安装3根或3根以上的天线时，次优设计方案与最优设计方案的性能差别可以忽略不计，因而在实际应用中具有更好的前景。另外，根据采用LNR协议的TWRNs中继节点信号处理特点，文中提出了一种中继处理流程并根据这种流程分别讨论了各节点波束成形参数的设计方法，进一步解决了TWRNs中的波束成形模块化设计问题。针对DTWRNs，本文主要从三个方面展开了研究。首先，研究了各节点均只安装单根天线时基于MSMSE的波束成形设计方案。在波束成形参数的设计过程中分别考虑中继节点总功率受限和每个中继节点功率单独受限两种模式。在每个中继节点功率单独受限模式中，由于基于MSMSE的最优设计的计算量随着中继个数的增加而剧增，因而本文考虑了一种替代次优算法，其主要思想是将各节点的波束成形设计转化成设计每个中继节点的复功率控制因子。鉴于所有最优控制因子之间互相依赖，文中提出了一种迭代算法来求数字最优解。其次，当所有用户节点（源节点和终端节点）安装多天线时，为了充分利用用户节点的多天线获取空间分集增益，本文研究了两种功率受限模式下，DTWRNs中各节点基于MSMSE准则的联合波束成形设计问题，并针对两种功率受限模式分别提出了一种具体的联合设计算法，解决了各节点波束成形联合设计问题。研究结果表明在所有中继总功率受限时，DTWRNs中基于MSMSE的最优波束成形只是CTWRNs中基于MSMSE最优波束成形参数的一个简单的变形；当每个中继节点单独功率受限时，基于MSMSE的波束成形联合设计问题可以等效为一个用户节点安装单根天线的DTWRNs波束成形设计问题。仿真结果表明本文提出的基于MSMSE的DTWRNs波束成形算法对控制信道的要求低，易于实现。在中继总功率受限模式中具有最优的系统性能，在单个中继功率受限模式中具有复杂度低，系统性能优良的特点。最后，论文研究了用户节点安装多天线时DTWRNs中的机会中继策略设计问题。文中提出了三种机会中继方案，分别是基于用户天线—中继联合选择的机会中继策略、基于最大比发送/接收波束成形的机会中继策略和基于等增益波束成形的和最大—最小中继选择的机会中继策略，解决了用户节点安装多天线时DTWRNs中的机会中继问题。针对基于用户天线—中继联合选择的机会中继策略，文中从理论上分析并证明了该方案可以获取最大空间分集增益。仿真结果显示文中提出的基于天线选择的机会中继策略和基于最大比发送/接收波束成形的机会中继策略均可以充分利用用户端的多天线达到系统满空间分集增益，而基于最大比波束成形的机会中继策略在三种方案中具有最佳的系统性能。最后，本文从三个方面研究了MPTWRNs。首先，针对现有参考文献主要集中于研究如何消除MPTWRNs中用户对间的干扰（Inter Pair Interference，IPI）忽略了中继和用户节点的噪声导致无法获得较高的系统性能这一现状，文中研究了基于MSMSE的最优中继波束成形（Relay Beamforming，RaB）矩阵应该具有的一般形式，得出了其最优RaB矩阵秩不大于用户数目这一结论。提出了一种基于块对角化（Block Diagonalization，BD）的最小化各用户对内均方误差和的（BD-BasedMinimizing Intra-Pair SMSE， BD-MIPSMSE）的波束成形设计方法，解决了MPTWRNs中消除IPI和平衡噪声不能兼顾的问题。仿真结果表明，该方案能够在彻底消除IPI的同时有效平衡有用信号和噪声，进而使用户节点的性能达到最优；使用该方案时的系统性能优于单纯的基于最小均方误差和（Minimum Mean SquareErrors，MMSE）方法和BD方法；在算法复杂度方面，较最优MSMSE算法，该方案算法具有较低的复杂度和较快的收敛速度。除此之外，文中提出了一种基于用户端波束成形的IPI消除方案，并给出该方案应用的前提条件。该方案简化了中继节点对信号的处理，适用于简单的放大—转发中继，解决了MPTWRNs中继计算能力有限时的IPI消除问题。仿真表明，在满足前提条件时，该方案可以完全消除IPI，且其复杂度低，对中继节点要求简单，适合于临时中继部署。最后，本文研究了在认知无线电环境中次级用户（Second Users，SUs）通过担当主用户（PrimeryUsers，PUs）中继进而实现SUs与PUs对某一频段的共享这一特殊的多对用户中继网络。当某个SU安装多根天线时，文中提出了一种基于最小化加权均方误差和准则（Minimizing Sum of Weighted Mean Square Errors，MSWMSE）波束成形设计的频谱共享方法，解决了认知协同网络中PUs和SUs同时通过共享频谱传输各自信号的问题。仿真结果表明该方法较普通的频谱共享方法节省了信道资源，提高了传输效率。由于采用了加权方法进行设计，充分发挥了PUs的主动性，提高了系统可控性。