回顾从第一代移动通信系统（The First Generation Mobile Communications Sys-tem,1G）到 第五代 移动通 信技术（The 5th Generation Mobile Communication Tech-nology,5G）的发展历程,可以发现每一代通信系统的升级都伴随着多用户多址接入技术的革新。五代不同的多址接入技术分别利用了时域、频域、码域、空域的传输特性,将多用户以相互正交的方式分配在独立的资源块,以降低多用户干扰,并试图提升多用户系统的整体性能。然而随着未来5Gbeyond甚至第六代移动通信系统（The 6th Generation Mobile Communication Technology,6G）的提出,移动通信系统的终端接入数量将呈指数级增长,传统的正交多址接入方式资源利用率较低,可用的时/频/码/空域资源已不足以应对如此的大量的终端接入数。如何设计符合未来5G beyond及6G性能要求的多址技术是学术界及产业界长期以来关注的焦点问题。自2013年以来,学术界前瞻性的提出了不同非正交传输方案,如基于功率域的非正交多址接入技术（Power-domain Non-orthogonal Multiple-access,NOMA）,和采用速率拆分思想的速率分拆多址系统（Rate-splitting Multiple Access,RSMA）。虽然彼此采用的技术方案各不相同,却都有着共同的目标,即提供更低的成本消耗、更高的传输速率、更多的终端接入数量、及高可靠性的低时延通信。由于非正交传输技术相比于OMA在资源利用率上的优势,学术界将非正交传输技术看做是未来5Gbeyond甚至第六代移动通信系统（The 6th Generation Mobile Communication Technology,6G）潜在的应用方案之一。在此大背景下,本文致力于研究非正交传输在协作通信网络中的融合设计。通过将中继协作技术引入非正交传输系统,我们期待能够在取得非正交传输方案性能优势的同时,有效的通过中继协作来解决无线通信系统中的常见问题,如深衰落、小区边缘用户通信质量下降、多用户公平性等。在研究对象上,本文重点考虑两种非正交传输方案,即典型的功率域非正交多址接入技术,以及采用速率拆分思想的速率分拆多址系统。在性能评估及设计指标上,本文的侧重点包括了在给定功率分配下的遍历性能分析（如遍历速率,中断性能等）,以及基于实时可达速率的波束成形、功率及时隙资源优化及鲁棒性优化算法。本文的主要创新点及贡献如下:1.研究了单天线下行多用户场景中,非正交多址技术NOMA与中继网络的融合应用。系统包含一个解码转发式中继节点来辅助多用户传输。在此场景中基站到多用户的直射链路、及中继辅助链路同时存在。由于合理的用户排序是非正交多址技术的一个重要前提,从性能分析的角度,讨论并比较了两种不同的用户排序方案。假设固定的功率分配,该章根据瑞利信道的特性重点讨论了三个系统性指标:中断概率、分集增益、遍历和速率。首先本文推导出了每个用户的中断概率闭式解,之后在中断概率闭式解的基础上又推出了其在高信噪比下的渐进分集增益。此外,还得出了系统中（信道）最强用户的遍历速率闭式解,及其它用户的速率上界。最后,通过仿真验证了性能分析推导的正确性,同时说明了当按照中继辅助链路进行用户排序时,系统可以获得更高的遍历和速率。相比之下,由直射链路排序时,系统可以获得更高的分集增益,同时其性能对于中继节点的位置较不敏感。2.讨论两种非正交传输方案RSMA和NOMA与中继网络的融合应用。特别是RSMA技术,因其在下行多天线场景下的性能优势,近几年在学术界得到了相当多的讨论。本文将提出一种新型的协作式速率拆分方案（Cooperative Rate Splitting,CRS）。CRS融合了用户间中继协作的优点及RSMA在多天线场景下的优势。假设基站端已知完美的信道状态信息,在半双工中继架构下,两用户在第一个时隙接收来自于基站的直射信号。在第二个时隙,用户1解调其公用信息流再转发至用户2,从而提升系统中公用信息流的可达速率。与传统半双工中继网络中的固定等值时隙分配不同,CRS引入了动态时隙分配的策略,使其可以根据信道条件及系统目标的变化来动态的决定是否激活中继策略,或维持在直射传输的非中继模式。通过将所提CRS方案与已有的相关多种中继/非中继方案相比较,验证了CRS在多用户可达速率的有效提升。3.由于非完美信道状态信息（Channel State Information,CSI）在下行多天线系统中是一个无法忽略的现实问题,特别是其引发的随机性多用户干扰是造成系统性能退化的重要原因。因此,本文更进一步的讨论当基站仅有非完美信道状态信息时,系统的速率性能及鲁棒性优化算法。此外,在两用户协作的基础上进一步扩展至多用户协作。扩展后的CRS系统不仅融合了用户间协作及RSMA在多天线中的优势,还更进一步吸收了中继选择的优点。考虑在给定功率条件下系统的带权重平均和速率问题（Weighted Average Sum Rate,WASR）。该随机优化问题综合的包含了波束成形设计,时隙动态分配,及中继选择。本文将提出两种优化算法,第一种算法可以实现最优的中继选择但伴有较高的计算复杂度,而第二种启发式次优算法则可以在低复杂度的同时达到近似的最佳性能。仿真结果验证了所提算法的有效性和可靠性,并说明CRS方案在基站仅有部分非完美CSI可用时仍然可以获得一定的WASR增益。通过本论文的研究,更加深了对协作式非正交传输方案的认识。同时作者也期望本文的研究能够为不同的协作式非正交传输方案在单天线、多天线场景的性能比较及算法设计做出一定贡献。