随着移动通信技术的发展,网络设备接入需求量日益上升,对移动数据流量的需要也呈爆炸式增长,传统的多址接入方案面临着巨大挑战。如何利用有限频谱资源提升系统性能并支持大规模设备接入是值得研究的问题。为了解决这个难题,非正交多址接入技术（Non-orthogonal Multiple Access,NOMA）应运而生。通过借助于新的功率域维度,NOMA可以在单个时频域资源上并发传输多个用户的信号,在提高通信系统用户接入量与频谱利用率方面表现出了卓越的性能,因而吸引了众多研究人员的关注。此外,智能反射面（Intelligent Reflecting Surface,IRS）作为通信系统中一种新的无线变革技术,也引起了热烈的反响。通过集成大量的无源反射元件,主动地配置无线信道,IRS可以进一步地发挥出NOMA的技术优势,并进一步提高NOMA系统的性能,对提升网络性能具有重要的意义。另一方面,随着绿色环保理念的深入人心,能量效率（Energy Efficiency,EE）问题也逐渐成为人们日益关注的重点之一。因此,本文面向未来网络发展中高能效应用场景,基于强化学习算法,针对NOMA系统与IRS-NOMA系统的能效优化问题进行了深入研究,具体研究工作如下:首先,提出了下行多用户NOMA系统能效最大化资源优化分配方案。针对下行多用户NOMA系统能效优化问题,将非凸且NP-hard的原问题分解为用户分组与功率分配两个子问题,分别设计了两个问题的优化求解方案。具体地,提出了一种基于强化学习算法的用户分组算法,在信道等功率分配及分组方案确定的条件下,推导了各个子信道上用户功率分配的闭式表达式,并且为进一步提高系统能效,在子信道间采用分数阶功率分配（Fractional Transmit Power Allocation,FTPA）,并设计了资源分配的联合优化算法。仿真结果表明,相比于其他资源分配方法,本文提出的NOMA下行传输方案可以获得更高的系统能效。其次,提出了IRS辅助的NOMA系统下行能效最大化的功率分配与相位偏移联合设计方案。针对IRS辅助的下行NOMA系统,在用户最小速率要求条件下建立了最大化能效问题。由于原问题各个变量之间高度耦合难以直接求解,我们采用交替优化方法将其分解为两个子问题进行分别求解。具体地,在相位偏移给定条件下,提出了一种基于DQN算法的功率分配算法,并在给定功率分配的条件下,利用梯度上升（Block Coordinate Ascent,BCA）技术来优化IRS的各个相移,最后给出了收敛的交替优化算法。仿真结果表明,本文提出的功率分配与相位偏移联合设计方案可显著提升IRS辅助NOMA系统的能效性能。