在过去的数年间，协作中继技术由于能够增加覆盖范围、系统容量以及传输可靠性而成为无线通信领域最为广泛的探讨话题之一。其基本原理是多个中继相互合作通过虚拟多输入多输出（Mulitple-Input Multiple-Output, MIMO）的形式来转发信源信息。从这层意义上讲，协作中继为MIMO技术在单天线设备中的应用铺平了道路，比如蜂窝移动网络中绝大多数的手持设备以及无线自组织网络或无线传感器网络中的节点设备。对于协作中继技术而言，目前的研究兴趣主要集中在如何设计有效的中继传输方案来获取传统MIMO技术的优势。本文针对无线中继网络中的中继选择（Relay Selection）、分布式空时编码（Distributed Space-Time Coding）和协作波束成形（Cooperative Beamforming）三种协作传输技术展开研究。具体来说，本文的主要贡献总结如下：1.对于中继选择技术，以基于放大转发（Amplify-and-Forward, AF）协议的双向机会中继（Two-Way Opportunistic Relaying, TWOR）系统为研究对象。i)给出了当采用平均功率分配（Equal Power Allocation, EPA）方案时TWOR-AF系统在独立非同分布瑞利衰落信道下的性能分析。推导了系统中断概率的闭合上下界和渐近近似表达式，这些公式在高信噪比下都是紧的。从渐近近似公式中还得到了分集增益、编码增益和分集复用折中。此外，利矩母函数的方法推导了EPA方案在采用多进制移相键控（Μ-ary PhaseShift Keying, Μ-PSK）或多进制正交调幅（Μ-ary Quadrature AmplitudeModulation, Μ-QAM）信号时系统误码率的通用闭合表达式。仿真结果验证了所给理论分析的准确性。ii)为了进一步提升性能，还研究了TWOR-AF系统的发射功率优化问题。当在信号发送前已知信道瞬时强度时，通过求解信噪比平衡的优化问题设计了一种最优功率分配（Optimum Power Allocation, OPA）方案。而当只已知信道统计特性时，针对更为通用的Nakagami-m信道模型，以最小化系统中断概率为目标提出了一种次优功率分配（Sub-OPA）方案。仿真结果表明所提功率分配方案在中断概率方面显著优于EPA方案。2.对于分布式空时编码技术，以在频率选择性衰落信道下联合采用比特交织编码调制（Bit-Interleaved Coded Modulation, BICM）、分布式正交空时分组编码（Distributed Orthogonal Space-Time Block Coding, DOSTBC）和正交频分复用（Orthogonal Frequency Division Multiplexing, OFDM）的译码转发中继网络为研究对象。i)利用OFDM子载波间的关系，针对BICM-DOSTBC-OFDM系统提出了一种导频有效的非相干译码器。其优点是既不需要预先知道信道状态信息（Channel State Information, CSI）也不需要预先知道参与协作的中继状态信息（Relay State Information, RSI），而且还能够在一个DOSTBC-OFDM分组内完成译码，因此适合CSI和RSI在分组间都变化的较快衰落环境。ii)在理论性能方面，主要关注非相干译码器获取的分集增益。为此，研究了一类具有完美信道识别特性（Perfect Channel Identifiability, PCI）的传输方案。然后建立了一种最差情况分集分析框架来证明只要采用具有PCI特性的传输方案，所提的非相干译码器就能达到BICM-DOSTBC-OFDM系统提供的最大协作和频率分集。仿真结果表明所提的非相干方法呈现出近似理想相干译码的误比特率性能，并且明显胜过基于导频的信道估计方法。3.对于协作波束成形技术，以存在多个窃听者的AF中继网络为研究对象，目标是设计有效的协作波束成形方案来阻止窃听企图。i)在中继总功率和各自功率约束条件下，提出了一种基于安全速率最大化（Secrecy Rate Maximization, SRM）的准最优协作波束成形方案。其基本思想是采用一维搜索加半定松弛（Semidefinite Relaxation, SDR）的双层优化框架来处理非凸的安全速率最大化问题，它包括求解一系列半定规划（Semidefinte Program, SDP）。为了降低安全速率最大化问题的求解复杂度，又提出了基于零空间（Null Space, NS）的最优协作波束成形方案来最大化目的节点的信息速率同时完全消除对所有窃听者的信息泄漏。这一设计问题被证明可以通过半定松弛的方法完全解决，并且只需求解一个半定规划。ii)鉴于人工噪声（Artificial Noise, AN）能够有效地干扰窃听者，还设计了联合人工噪声的最优协作波束成形方案，其基本思想是采用先前的双层优化框架来求解包含人工噪声的安全速率最大化问题。与只有协作波束成形的优化问题不同，由于人工噪声的使用，半定松弛在这里被证明是紧的。此外，针对窃听者的CSI为非理想的情况，通过扩展双层优化框架求解一个更为复杂的最差情况安全速率最大化（Worst-Case SRM, WC-SRM）问题，进一步提出了联合人工噪声的最优鲁棒协作波束成形方案。仿真结果显示了所提方案在提升安全速率性能方面的功效。