移动互联网和物联网的迅猛发展驱动移动通信系统向更大连接数密度、更好通信传输性能和更高系统容量方向发展。为了应对移动通信系统面临的诸多挑战,异构蜂窝网络(Heterogeneous Network,HetNet)、非正交多址接入技术(Non-orthogonal Multiple Access,NOMA)和协作通信技术是目前学术与产业界讨论和关注的焦点。随着NOMA技术和异构蜂窝网络的加入,移动通信系统需要更加严格智能的无线资源管理方案。因此,本文围绕移动通信系统中异构蜂窝网络、NOMA蜂窝网络及NOMA技术在异构网络及协作中继系统应用中的无线资源管理问题,展开深入的研究与分析,最终达到提升移动通信系统性能的目的。首先,提出一种低复杂度的分布式功率分配和用户调度算法,能使得异构蜂窝网络在基站发射功率和用户服务质量要求约束下取得最大的系统总容量。该算法采取异构网络内每个小区独立地进行资源分配和调度的方式,能够有效降低系统计算复杂度,并在微小区资源分配过程中兼顾了周围宏蜂窝小区用户的性能。仿真结果表明,该分布式功率分配和用户调度算法可以有效提升系统容量,改善系统内用户的中断性能。其次,以系统能效、频谱效率和用户公平性间均衡关系为优化目标,研究了多载波NOMA蜂窝网络内用户分簇和功率分配问题。由于该优化问题是一个NP-hard问题,本文利用拉格朗日对偶理论和K-means聚类算法提出一种次优的用户分簇和功率分配联合算法。与传统正交情况下的蜂窝网络相比,采用该用户分簇和功率分配联合算法的NOMA蜂窝网络可以在保证用户间公平性的情况下有效提升系统能效和频谱效率。再次,在用户服务质量要求约束下,本文研究了多小区多载波NOMA蜂窝网络最小化总发射功率的无线资源管理问题。由于NOMA网络中用户采用的串行干扰消除(Successive Interference Cancellation,SIC)解码顺序与邻小区干扰有关,因此多小区NOMA蜂窝网络内用户分簇和功率分配紧密交织,这极大地增加了问题的求解难度。本文在用户分配已知情况下提出一种集中式功率控制方案,然后根据该集中式功率控制方案提出了一种贪婪式用户分簇和功率分配算法。通过仿真验证,采用本文所提贪婪式用户分簇和功率分配算法可以极大地节省系统发射功率,并能有效地改善用户中断性能。接着,为了进一步提升移动通信系统性能,本文把NOMA技术应用到异构蜂窝网络每个小区。此时,为了有效地抑制NOMA异构蜂窝网络内复杂的干扰问题,并在基站发射功率、用户通信质量和SIC解码有效性约束下能够最大化NOMA异构蜂窝网络系统总容量,本文提出了一种迭代式功率分配和用户调度算法。仿真结果表明,与传统正交(Orthogonal Multiple Access,OMA)异构蜂窝网络和单层NOMA蜂窝网络相比,采用本文所提出的迭代式功率分配和用户调度算法的NOMA异构蜂窝网络可以提供更高的频谱效率,同时有效地改善系统中断性能。随后,为了最大化非正交协作中继系统(Cooperative Non-orthogonal Relaying Sys-tem,CNRS)性能,本文研究了非正交协作中继系统功率分配和中继位置优化问题。本文提出了协作中继系统最大频谱效率下的动态功率分配方案,并根据该动态功率分配方案得到了瑞利衰落信道下CNRS系统中断概率闭合表达式,然后通过优化该中断概率闭合表达式得到系统最佳中继位置。仿真结果验证了获得的最佳中继位置准确性,并且指出了 CNRS和传统正交协作中继系统在最佳中继位置选取上的差异,且在高信噪比情况下CNRS可获得更高的频谱效率。最后,为了最小化无人机辅助的非正交(Unmanned Aerial Vehicle assisted Non-orthogonal Multiple Access,UAV-NOMA)协作中继系统总发射功率,本文研究了UAV-NOMA协作中继系统功率分配和无人机位置优化问题。本文首先提出了UAV-NOMA协作中继系统最优的动态功率分配机制,然后利用该动态功率分配方案得到了UAV-NOMA协作中继系统在Nakagami-m衰落信道模型下平均最小发射总功率的闭合表达式;最后根据该最小发射总功率均值的闭合表达式得出系统最佳无人机位置。仿真结果验证了本文得到的UAV-NOMA协作中继系统平均最小发射总功率闭合表达式的正确性;最后还给出了系统参数变化时最佳无人机中继位置调整方案。