现代无线通信技术已经取得了突飞猛进的发展,纵向上表现为通信系统的容量不断增大,传输的可靠性不断提高,而且更新换代越来越快；横向上,无论理论界还是产业界都百家争鸣,各种新技术、新概念层出不穷,这也促进了技术标准和商用系统的多元化。然而,过快的发展和膨胀也使得无线传输环境日趋恶化,频谱资源越来越贫乏,这就给新一代无线通信技术的发展和满足人们日益增长的无线数据业务需求形成了巨大的障碍。从接近香农限的Turbo编码和大幅提高频谱效率的MIMO传输到能够有效克服多径效应的OFDM,这些技术都不断刷新着无线通信世界的里程碑；跟随着技术革新者的脚步,人们逐渐认识到中继协作通信这一概念所蕴含的巨大潜力。中继协作通信首先为无线通信系统中引入了中继这一概念,中继可以根据需求来转发信号以达到协助发送端到接收端数据传输的目的,它一方面能够扩大无线系统的覆盖,另一方面也能提高无线链路的质量。将中继的概念进一步泛化,即认为无线网络中任意一个闲置节点都能够成为其他节点的中继转发点,则形成了协作的概念；作为网络中的一份子,一个用户并不再局限于只接收或发送对自己有用的数据,而应该贡献出自己的闲置资源或者利用其他可用的资源推动整个网络中数据流的最大化。从个体的角度来看,在进行中继协作传输的过程中,也许会耗费自己一些额外的资源；但实质上,系统的总体的资源消耗是下降的,也就是说,个体的平均资源消耗其实也是下降的；这种思想正是顺应了目前被全世界所推广的绿色、低碳的概念。本文正是针对中继协作通信中的物理层传输关键技术展开研究,涉及到现有中继信号转发模式的优化、中继信号的分析和处理、新型协作机制的设计等方面,提出了若干能够改善通信系统性能的算法和机制。论文的主要研究内容和成果如下：提出一种采用CRC校验的在中继节点和接收端联合自适应选择中继模式的机制,这种机制将直传、放大转发和解码转发三种基本的传输机制集成到一起,依据不同的信道情况选择其中之一进行数据传输；与其他机制相比,降低了传输误块率,同时提高了系统的吞吐量。提出一种基于贝叶斯最小均方误差准则的软符号估计转发中继模式,同时还考虑了与每个符号所对应的噪声功率值,使符号估计更为准确；并且还根据这一估计准则提出了对星座点按后验概率值大小进行采样,联立求解方程组的简化算法。该估计转发模式不仅优于传统的放大转发和解码转发模式,同时还优于其他大多数估计转发的算法；并且,所提出的简化算法相比于原算法性能降低很少,可以作为一种替代的实现方式。介绍了一种新型的协作传输时隙分配模型,并在此基础上介绍了一种在发送端重排数据,在中继站进行正交化变换的协作编码传输机制,其中在中继站的处理中还采用了前面介绍的软符号估计算法；这种协作编码传输机制通过在接收端对正交信号的合并获得了发送分集和路径分集增益,大幅提高了系统的传输可靠性和有效性。