中继协作通信系统本质上是一种虚拟的多输入多输出(Multiple-Input-Multiple-Output,MIMO)系统,它通过将地理上分散的结点彼此共享天线资源,从而解决了由于尺寸、成本等原因在移动结点上布置多天线困难的问题,并且可以以较低的发送功率有效地扩大通信的覆盖范围、提高系统容量、对抗衰落,目前已经成为学术界的研究热点并得到了工业界的广泛关注,并被纳入3GPP LTE-A和IEEE802.16等多个国际标准。本文主要研究基于放大转发的双向中继传输系统和全双工单向中继系统的性能,与传统的单向半双工中继系统相比,其共同点是可以在两个时隙内完成两次数据传输。论文的主要工作和贡献如下:首先,针对双向AF中继系统,考虑实际系统中存在信道估计误差以及非对称数据速率需求两个因素,根据非对称因子的大小,将其分为三类,在Nakagami-m信道下分别推导了该系统的精确系统中断概率和一个很紧的下界。为了更好地分析系统参数对系统中断概率的影响,在高信噪比下,推导了系统中断概率的渐进表达式,结果表明由于信道估计误差的存在,系统中断概率在高信噪比下出现地板效应。以渐进系统中断概率为优化目标,给出了布置中继的最优位置方案,并在独立同分布的Nakagami-m信道中给出了闭式解析式。所得结论具有一般性和普遍性,仿真结果证明了所推导公式的正确性和理论分析的实用性。其次,考虑中继处I路和Q路信号失衡的双向AF中继系统,对IQ路失衡经过简单的补偿后,推导了Nakagami-m信道下单向中断概率解析表达式和渐进表达式,并分析了信干噪比产生平层效应的原因,推导了系统中断概率的下界和可达遍历和容量及其上界,结果表明无IQI补偿时,系统的中断概率和遍历容量会出现平层,并且只与硬件的系统参数有关,而经过简单的ZF补偿后可以消除平层效应。作为一种扩展情形,综合考虑由于实际硬件不理想而产生的多种损耗,建立了相应的双向AF中继系统传输模型,推导并给出了各自用户的中断概率的精确闭式表达式和渐进中断概率表达式,得出了对实际系统设计有指导意义的结论。仿真结果表明了理论分析的准确性以及功率分配方案的有效性。最后,针对基于译码转发协议的全双工中继系统,考虑收发天线之间存在的回环干扰衰落信道,推导了Nakagami-m信道下单中继全双工译码转发中继系统和采用机会中继选择的多中继系统的中断概率解析式。以系统遍历容量最大为目标,在两种不同功率限制条件下,分别给出了最优功率分配策略,并与等功率分配的情形进行了对比,分析了回环干扰对系统性能的影响。结果表明在较低的发送功率和在较高的数据速率需求的情形下,FDR系统的中断性能优于HDR系统。最后对所推导的中断概率和功率分配方案进行了仿真验证。