移动通信技术经过多年的发展,已经从1G发展到了4G,并即将迈入5G时代。传统的多址接入方案利用资源(时间,频率,或编码)的正交性来避免用户间的干扰。随着移动互联网技术和物联网技术的飞速发展,无线网络中的数据吞吐量会成千倍地增加,这就要求5G通信系统有更高的频谱效率和更多的设备接入数量。在这种情况下,传统的正交多址方案已经无法满足通信需求,而非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术就成为了一个非常有前景的技术方案,因为其可以利用功率域的非正交性而提供更多的用户接入量,提高频谱效率。中继技术在移动通信系统中一直有着广泛的应用,因为其部署成本较低、通信协议相对简单,但是却能够扩大无线通信系统的覆盖范围,并且能够有效地改善小区边缘用户的数据吞吐量。在未来的密集蜂窝网系统中,基站会小型化,其覆盖范围有限,但是接入设备的数量可能会很多,并且一部分处于小区边缘的用户的服务质量会很差,这种情况下利用中继就可以很好地改善边缘用户的服务质量。同时,中继可以利用全双工(Full-Duplex,FD)中继技术极大地提高频谱效率,然而FD中继系统的性能会受到自干扰效应的制约。针对NOMA技术可以提高频谱效率、增加设备接入量和中继技术可以扩大通信覆盖范围的优点,本课题主要研究了一个基于NOMA的混合双工系统中的资源分配问题。在该系统中,利用基于自干扰信道的条件的模式选择算法,中继可以动态地选择工作于全双工模式或者是半双工(Half-Duplex,HD)模式;而利用DC(Difference of Convex)算法可以求解出NOMA方案下的功率分配方案。同时,本课题提出的系统中,利用了两跳非对称时隙的资源分配方式,使系统的数据吞吐量最大化。通过仿真结果可以证明,在半双工模式下,非对称时隙资源分配方案下的NOMA系统比传统的半双工NOMA中继系统有着更大的数据吞吐量;而在混合双工模式下,系统可以利用实时的信道动态地选择性能更好的双工模式,从而提高了系统整体的通信能力。