随着互联网、物联网（Internet of Things,Io T）及移动通信技术的快速发展,各种各样的智能设备、应用及服务正在以空前的速度和规模接入网络,使得移动数据流量呈现指数增长。但是无线网络中频谱资源有限,如何在有限资源上支持如此大规模的连接并为其提供满意的服务是我们亟待解决的问题。另外,无线网络中的设备尤其是Io T设备大都是由容量有限的电池供电,当电量耗尽的时候,为电池充电或者更换电池往往不太方便。因此,如何让能量受限的设备也能持续且可靠通信,实现真正的万物互联,是另一个需要我们去解决的问题。非正交多址接入（Non-Orthogonal Multiple Access,NOMA）因其有利于支持海量连接、具有较高的频谱效率并且可以实现较好的系统公平性,被看作是第五代（The5th Generation,5G）移动通信系统中非常有前景的一种多址接入技术。但是,仅凭现有的NOMA技术去应对上述挑战还是远远不够的。为此,本文中,我们以NOMA技术为切入点,将NOMA与其它技术如全双工（Full Duplex,FD）通信、协作中继、动态频谱共享、设备间通信（Device-to-Device,D2D）、无线能量传输（Wireless Power Transfer,WPT）等进行结合,围绕实际系统中可能出现的应用场景,对高频谱效率和高能量效率的若干关键技术展开了研究。本论文的主要贡献可总结如下:1、为了解决稀缺频谱资源与海量设备接入、指数增长数据流量之间的矛盾,同时为了缓解自干扰对FD通信系统性能的影响,我们提出了一个简单但具有较高频谱效率的基于NOMA的虚拟全双工通信系统。在该系统中,我们将现有通信系统中的FD基站（Base Station,BS）用两个半双工（Half Duplex,HD）且在地理位置上分离的远端天线单元来代替,通过基带处理单元的集中控制同时对上下行用户进行服务以实现全双工通信。为了表征所提系统的性能,我们详细研究了所有用户的中断概率和遍历速率。理论分析和仿真结果均表明:所提的基于NOMA的虚拟全双工系统优于现有的基于NOMA的FD系统。2、针对直接通信链路信道较差甚至不存在的场景,我们提出了一个基于NOMA的中继协助频谱共享传输系统。在该系统中,我们将NOMA、协作中继和动态频谱共享技术进行了结合,以期在改善覆盖的同时提升系统的频谱效率。接着,我们为该系统设计了两种传输方案:多址广播协作NOMA方案和时分广播协作NOMA方案。假设完美信道状态信息（Channel State Information,CSI）或有信道估计误差的CSI已知,针对每一种方案,我们首先进行了功率优化,以在蜂窝用户服务质量要求下最小化D2D用户的中断概率。在此基础上,我们进一步对蜂窝信号和D2D信号的中断概率及系统的平均吞吐量进行了分析。另一方面,假设仅有统计的CSI已知,对于每种方案,我们先分析了系统中断概率然后找到了使得中断概率最小化的最优功率分配。仿真结果表明:在三种CSI情况下,我们提出的方案均优于其它对比方案。3、鉴于双向D2D可以实现比单向D2D更为有效的频谱利用,我们提出了一个基于NOMA的混合蜂窝和双向D2D协作通信模型。在该模型中,两个用户要接收来自BS的下行信息,同时它们也需要相互交换信息。对于用户能量充足的情况,我们对系统的遍历和速率及所有信号的中断概率进行了分析,并对它们在高信噪比下的近似结果进行了计算。对于用户能量受限的情况,我们对时间切换（Time Switching,TS）和功率分割（Power Splitting,PS）两种能量采集（Energy Harvesting,EH）协议下系统的遍历和速率、中断概率及对应的渐近结果分别进行了分析。数值仿真验证了分析结果的正确性,同时说明了所提方案的性能优于其它参考方案。4、针对源节点能量受限的海量连接场景,我们提出了一种采用WPT技术的协作NOMA（WPT-based Cooperative NOMA,WP-CNOMA）通信系统并对该系统进行了设计和优化。具体地,在所提系统中,能量塔（Power Beacon,PB）将被用于为能量受限的信息源和中继节点充电以帮助该系统建立正常通信。而且,我们应用了天线选择和中继选择以进一步提升系统的性能。然后,我们对线性和非线性EH模型下用户的中断概率和系统的平均吞吐量分别进行了分析,并借助黄金搜索法找到了使得系统的平均吞吐量最大化的最优EH时间。另外,假设全部CSI已知,我们以最大化最小速率为目标对系统中的EH时间和功率分配进行了联合优化并通过利用复杂度较低的半解析法找到了最优解。理论分析和仿真结果均表明:所提的WP-CNOMA系统优于对应的正交多址接入系统。