无线网络中协作多点通信用于降低蜂窝边缘干扰、提高系统容量和分集性能、提高信号覆盖范围,从而提高蜂窝边缘用户的数据速率和蜂窝系统的整体性能,对满足无线宽带通信的用户体验和持续增长的容量需求极其重要。协作多点已成为第五代移动通信网络研究的一个关键特性。在协作多点系统中,基站间因物理链路造成的低带宽高延时的非理想回程是影响协作多点在无线网络中真正部署的最主要问题。本文针对非理想回程限制下协作多点的信道状态信息(CSI)量化、信源信道联合编码、异步分集策略、网络编码、波束成形预编码方法展开研究。论文主要工作包括五个方面:(1)提出一种基于格莱斯曼流型理论的方法来实现CSI量化,通过减小回程开销来解决非理想回程高延时和低带宽导致的协作多点系统性能下降的问题。针对CSI量化比与协作多点系统性能之间存在的非线性关系,用量化增益改变的速度不同来区分量化比对性能的敏感影响区域和非敏感区域,用量化增益的计算方法来约束量化比的设计目标值于敏感区域间;(2)针对带宽受限(带限)回程协作多点的信道特征,通过迫零波束成形和马尔科夫链理论建立预编码信道模型,提出了一种非对等信源信道联合编码方法。首先采用小波编码对信源压缩,使压缩后的信息单元不对等分布,继而采用不规则低密度奇偶校验信道码进行非对等错误保护,从而提高带限回程的系统吞吐率性能。在迫零波束成形和马尔科夫链所建立的预编码信道模型上,使信道编码增益始终保持在一个阈值之上,减小信源压缩比的结果证明,除了吞吐率性能提高了之外,该方法对带限回程的协作多点系统的联合编码增益性能具有实质改善;(3)提出一种延时兼容小波编码方法。本文证明了协作多点在异步通信环境下,只要延时小于码字长度,使用该方法可以近似获得满分集,也就说通过该方法,非理想回程小于码字长度的延时对协作多点性能几乎没有影响。与现有方法相比较,所提出的方法具有更易实施、更符合异步协作多点的应用场景,以及更高码率的优势;(4)针对协作多点的无线回程,本文采用小波网络编码机制来提高信道容量。小波变换出色的时频域分析特性,可以有效地分享系统相同的时间和频率资源,为传统正弦波调制的字符间干扰问题、伽罗瓦域调制所存在的容量瓶颈问题提供了一个新的方案。小波网络编码机制容易在时域和频域中根据字符的重要性程度进行优先级分组,并据此决定是否使用冗余校正信道,从而提供了一个相对灵活、节约且可控的频谱资源管理机制。理论分析和实验结果说明,随着协作节点数量的增大,小波网络编码对抗字符间干扰的能力越强。(5)针对第五代移动通信网络中的协作多点,提出一种递归估计-迫零波束成形的新颖机制。理论分析说明,可以通过所提出的机制来优化干扰,仿真结果验证了在非理想回程约束下,该机制最大可以将信道间干扰和用户间干扰降低一半,比传统的迫零波束成形机制具有更好的性能,在频谱效率和能源效率性能上也相应优于现有的机制。