协作中继是由多个物理位置独立的充当中继角色的用户节点协助信源用户传输信息的新型无线通信模式。它利用了虚拟MIMO的概念,可以通过多个用户间的有效协同获取额外的空间分集,尤其适用于小型化无线终端,可以有效的解决它们无法配备多个天线的缺点。此外,协作通信还具备提高系统容量和频谱效率、扩大通信覆盖等一系列重要优点。另一方面,在高速数据传输的宽带通信系统中,作为关键技术的OFDM,可以有效的对抗频率选择性衰落,具有低实现复杂度以及带宽资源分配灵活等优点,在当前以及将来的移动通信系统中有着广泛的应用。将协作中继与OFDM将结合,可以同时获取两者的优点,具有重要的应用前景,但也带来许多与窄带协作通信截然不同的技术问题。于是,如何在OFDM系统中有效的使用协作中继技术,使两者的结合发挥最大的功效,便成为很有研究价值的问题。为此,本文将研究其中几个关键问题,主要包括：信道估计与训练设计、对抗多个载波频偏(CFO)的均衡技术、宽带环境下协作OFDM的分集性能、低复杂度的中继选择(RS)方法以及利用信道状态信息(CSI)反馈的波束成形(BF)等。本文主要贡献可归纳如下：首先,研究了放大转发模式下多中继频率选择性信道的信道估计问题和相应的训练设计方案。通过在中继节点使用循环卷积滤波(CCF),保证了信道可辨识,在此基础上推导了CCF以及训练序列的次最优设计方案,同时证明了该方案是随信源到中继链路信噪比增大渐进最优的。为进一步提升估计性能,推导了信源与中继间功率分配的闭合表达式。仿真结果表明所提出方案的估计精度高,与未经优化的训练方案相比,能大幅度提升系统性能。其次,基于使用正交空时编码的协作OFDM系统,研究了多个CFO存在时,对抗信号间干扰的均衡技术。考虑到不同CFO条件下对均衡器需求的差异,首先设计了一种快速实现迫零均衡的迭代算法,由于主要步骤可通过FFT/IFFT完成,其计算复杂度非常低,适用于载波频偏差(DCFO)较小,也即干扰较弱的场合。其次,通过先以串行的方式做信道间干扰消除,再将所得结果在所有信号间进行并行干扰消除,得到了一种DCFO较大时可以有效对抗严重干扰的均衡方法,相比一些现有方法,可以大幅提升较大DCFO场合下的误码性能。该方法设计时实现了均衡所需矩阵求逆的递推计算,从而有效节省了计算量,保证了该方法的实用性。随后,深入研究了固定增益放大转发(FG-AF)模式下协作OFDM的分集性能。已有研究表明FG-AF模式下的窄带系统所能获得的分集性能要用分集增益函数(DGF)(logρ/ρ)X的形式来表示,其中p表示信噪比。而我们在采用线性星座预编码的OFDM系统中,全面研究了宽带信道条件下FG-AF可获得的分集性能及其与预编码分组长度J之间的关系。假设信源到中继以及中继到目标信道上的可分辨路径数分别为L1和L2,定义L=min{L1,L2}。成对差错概率(PEP)的理论分析结果表明：若L1≠L2,只要选取J≥L+1就能获得形如p-L的最优DGF,选取J≤L则只能获得(logρ/ρ)X的DGF效果；如果L1=L2,则此时可达的最优DGF为logp/pL,选取J≥2L—1则可以确保获得该DGF性能。同时,根据分布式空频码(DSFC)系统与单中继预编码系统PEP性能间的联系,以上单中继DGF结论可以方便的推广到多中继协作OFDM系统中。然后,为了克服多中继协作OFDM获取分集时的高复杂度缺陷,研究了译码转发模式下基于预编码的中继选择策略。提出了两种不同的方案,一种要求每一个预编码块都指定一个中继进行转发,另一种则由一个中继转发所有的预编码块。通过分组差错概率分析,给出了两种方案下各自的中继选取准则。进一步的理论分析表明,在给出的准则下,两者都能达到全部的协作与频率分集效果。仿真结果说明了相比DSFC方案,前者能在大大降低编译码复杂度的同时提供非常相近的性能,后者会有部分性能损失,但实现更加简单,通信开销更小。此外,为进一步降低译码复杂度,提出了一种改进的球形译码算法。通过使处于搜索结构底部的节点快速扩张,使得该算法拥有明显低于传统方法的计算复杂度,且仅有很小的性能损失。最后,研究了利用完整CSI的协作OFDM波束成形技术,用以提高闭环条件下的系统性能。基于中继独立功率约束,以最大化容量和为目标,推导了单独中继BF以及与信源功率分配联合后的优化算法。使用拉格朗日对偶原理,从对偶域上证明了两个问题都可通过迭代计算一系列可用线搜索算法求解的一维优化子问题来完成,并保证收敛于对偶最优解。因此两种算法都具有较低的复杂度。上述算法随着子载波数增大是渐进最优的,同时证明了当子载波数目较小时,也能至少保证得到满足原始约束的可行次优解。此外,由最优BF权值的特殊形式可知,所提出优化算法非常利于在中继间分布式实现,从而能有效降低通信开销。为进一步提升性能,还将BF与子载波配对相结合,提出了实用的优化算法。仿真结果表明,所提出方法能有效改善协作系统容量和中断概率性能。