中继技术能有效地对抗信道衰落、拓宽信号覆盖范围和提高系统容量,已成为无线通信系统的关键技术。高效的中继传输技术如信源选择、中继选择、天线选择等,不但能显著地降低功耗和信号处理的复杂度,还能带来性能改善；而准确的理论性能分析是指导无线通信系统设计和性能优化的一个重要手段。通过优化理论分析,如最小化中断概率、最大化平均速率等,可得到一些最优的系统参数设置方法,从而为系统传输方案设计、资源分配等提供理论指导。本文致力于无线通信系统的中继传输模式及其性能分析,重点研究单向与双向中继传输模式及性能。首先,以双向单中继传输模式通信系统为研究背景,在Nakagami-m衰落信道下,在m取整数及半整数值时,本文获得了系统中断概率和平均和速率的理论结果；基于MGF方法,获得了采用M-PSK调制时系统平均SER的理论结果。数值和仿真结果验证了理论分析的正确性,本项研究成果可用于指导Nakagami-m信道下双向单中继传输模式通信系统的设计与优化。其次,以多用户双向中继传输模式通信系统为研究背景,以最大化平均速率为多用户调度准则,在独立非同分布Nakagami-m衰落环境下,本文获得了m取整数值时容量下界的理论结果；当m=1时,所得结果与Rayleigh衰落下的已有结果基本一致,但适用范围更广。本项研究成果为Nakagami-m衰落环境中多用户双向中继传输模式通信系统的优化设计提供了理论依据。接着,本文研究了双向多中继传输模式通信系统采用不同传输方案时的性能。具体包括：(1)当采用APR传输方案时,在Nakagami-m衰落环境下,获得了m(m>0.5)取任意实数值时,系统在高SNR区域的平均误比特率和中断概率的理论结果,并进而得到了系统的分集增益和编码增益；(2)当采用DRS-AF方案时,在Rayleigh衰落信道环境下,获得了中断概率和平均SER上下界的理论结果。数值与仿真结果验证了上述分析结果的正确性。本项研究成果对于衰落环境下双向多中继传输模式通信系统设计与性能优化具有重要指导意义。随后,本文研究了多天线双向中继传输问题,提出一种联合考虑AS和DE的双向中继传输模式,即联合AS-DE中继模式；并分析了其理论性能,获得了中断概率及分集增益的理论结果。研究表明：联合AS-DE中继模式不但能实现全分集；而且在花费相同资源的前提下,在任意SNR区域其性能都优于既有max-min AS中继模式和nax-max AS中继模式。本项研究成果为多天线双向中继传输模式通信系统提供了一种高效可行的数据传输方案。最后,本文研究了HARQ技术及其在单向中继传输模式通信系统下的吞吐量性能。获得研究成果具体如下：(1)利用HARQ的反馈信令ACK/NAK,本文提出了种新的SNR估计方法,并且在反馈信令完全正确/存在错误的情况下,研究了该估计方案在Rayleigh和AWGN信道下的估计性能；(2)基于两跳单向中继传输模式,首先获得了非对称衰落信道模型(移动台-中继站信道和中继站-基站信道分别服从Rayleigh和Rician衰落分布)下,三种HARQ协议(ALO, RTD和INR)的时延吞吐量的理论结果,然后分析了HARQ最大传输次数L、Rician因子K、信息速率R对吞吐量的影响,最后比较了采用自适应最优信息速率传输和固定信息速率传输的性能。本项研究成果对自适应传输系统和单向中继传输模式HARQ通信系统设计具有指导意义。