在无线通信网络中，MIMO是一种能够有效利用多径传播来对抗无线衰落信道负面影响，提高系统频谱资源利用率，增加信道容量的技术。然而天线间的相关性限制了MIMO系统的性能，而且在实际中由于用户终端体积、质量以及能耗等因素的限制使得MIMO技术难以实现。在这种背景下，协作分集应运而生。协作分集允许用户终端共享彼此的天线资源，从而形成协作式MIMO，以单天线终端协作来达到MIMO系统的性能。然而面对日益增长的通信需求，多天线终端已成为无线通信发展的必然趋势。另一方面，近年来出现的网络编码技术掀起了无线通信领域中的另一股研究热潮。网络编码打破了传统路由的存储转发工作模式，通过扩展中继节点功能而大幅度提高网络吞吐量，从而逼近最大流最小割定理的容量上限。我们可以预计将协作分集与网络编码相结合可以进一步提高通信网络的系统性能。在这种背景下，本文针对双向中继通信中的网络编码，多用户协作通信中的模拟网络编码、物理层网络编码以及联合空时码的物理层网络编码等问题进行了深入研究。首先，介绍了协作分集和网络编码的基本原理，为后续的研究内容奠定理论基础。在MIMO系统模型基础上，介绍了接收分集的合并准则以及MIMO系统信道容量。以两用户相互协作模型为基础，介绍了几种典型的协作分集方式，并从信息论角度分析了两协作用户的可达速率区域以及系统中断概率。在双向中继通信中，介绍了双向中继通信方式以及物理层网络编码的解调映射方案。其次，针对双向中继通信中的网络编码方案进行了深入研究，提出了伪物理层网络编码方案，并分析了其信号处理过程。与物理层网络编码相类似，该方案的中继节点只需一次解调和一次信道解码过程，但并不存在同步问题。该方案可以被看作是网络编码方案的物理层执行方案，也是一个三时隙方案。通过与已有的网络编码方案相比较，分析了该方案的计算复杂度、误比特率以及可达速率，并讨论了该方案的适用场景。接着，为了解决减少多用户协作网络中传输时延的问题，将模拟网络编码引入到多用户协作网络中，提出了一种协作模拟网络编码方案，分析了其协作过程，并推导了该方案在中继节点采用放大转发模式时的信道容量。与传统协作相比，分析了节点配置天线数目对协作模拟网络编码的信道容量的影响，并研究了不同仿真场景下其误比特率性能。然后，针对如何将物理层网络编码应用到多用户协作网络中的问题进行了深入研究，利用极化分集，提出了协作正交物理层网络编码方案，并分析了其协作过程。该方案是一种基于解码转发和物理层网络编码的协作方法。通过与其他几种协作方案相比较，分析了不同仿真场景下其误比特率性能及系统吞吐量性能，并研究了不同解码方式对其性能的影响。研究结果表明，协作正交物理层网络编码方案可以有效地提高单天线终端的多用户协作网络的系统性能。最后，为了进一步提高多用户协作网络的性能，对物理层网络编码在多天线终端的多用户协作网络中的应用问题进行了研究，提出了一种联合空时码的协作正交物理层网络编码方案，分析了目的节点配置天线数目对其误比特率性能以及系统吞吐量性能的影响，并与传统解码转发协作和协作网络编码方案进行了分析与比较。研究结果表明，该方案能明显提高多天线终端的多用户协作网络的系统性能，并且其性能最优。