超密集组网(Ultra Dense Network,UDN)通过大量低功率无线节点(Access Points,APs)密集部署,成为提升5G(the Fifth Generation Mobile Communication System)频谱效率的一个典型应用场景。非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术通过在功率域或者码域的非正交传输来提升系统吞吐量,成为5G有前景的传输方式之一。将UDN与NOMA二者的有效结合是近些年学者们的研究重点,也是本文的研究重点。本文研究主要分以下三方面:(1)首先,将研究重点聚焦于如何有效提升系统吞吐量。之前的选择分簇研究中,将APs分簇和调整发送功率分为两步进行,虽然降低了算法复杂度,但以牺牲系统性能为代价。本文将模拟退火思想(Simulated Annealing Algorithm)与为用户和APs选择性分簇相结合,提出一种单目标优化算法,将APs间分簇与传输功率分配同时进行。依据场景实际需要,给出了优化算法的具体步骤,研究表明,提出算法改变了原有的分簇方式,当所选AP可为用户带来更好的通信服务时,即使AP不在用户周围,也可与用户进行连接,提供数据传输服务,保证了分簇的公平性。对比之前分簇算法,新优化算法有效提升了系统吞吐量,得到接近10%的增益。对可为用户提供服务的最大AP数Q进行研究,单位区域APs数目较大时,Q值越大,系统吞吐量增益越明显。(2)基于NOMA理论,研究接收机侧的可靠性。对串行干扰消除(Successive Interference Cancellation,SIC)接收机进行改进。首先分析了传统SIC接收机数学模型及工作方式,指出其误码传递等现象,将盲源分离技术(Blind Source Separation,BSS)用于接收机改进设计,用独立成分分析(Independent Component Analysis,ICA)法对盲信号进行分离处理,在混合信号中预先估计出所需有用信号,与之后接收译码中信号进行比对,有效地消除信号间的干扰影响。与传统接收机相比,改进的接收机可有效抑制误码传递对信号解调的影响,降低了误比特率。(3)最后,考虑实际通信场景性能指标间的平衡性,参考有精英策略的非支配排序遗传算法(Elitist Non-dominated Sorting Genetic Algorithm,NSGA-Ⅱ)提出了双目标优化算法。将用户平均速率与系统能量效率作为算法优化目标,用模拟二进制交叉算子(Simulated Binary Crossover,SBX)对种群进行交叉操作,分别在用户数、Q值不同场景中得到系统最优前沿解。人数一定Q值较大时,用户平均速率降低不能带来较为明显能量效率增益。Q值一定人数较小时,可通过牺牲用户平均速率提升系统能量效率增益。