随着移动互联网技术的飞速发展,人们的生活更加舒适便捷。同时,也对下一代5G通信提出了挑战。为了解决带宽资源不足的问题,寻找提高频谱利用率的技术显得尤为重要。大规模多输入多输出(Multiple Input Multiple Output,MIMO)技术和功率域非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术作为下一代无线通信的关键技术,分别通过对空域和功率域的复用,达到更高的频谱效率。在此基础上,将大规模MIMO技术与NOMA技术相结合,可以进一步提高频谱利用率,实现大规模多用户接入和大容量无线传输。本文介绍了大规模MIMO与NOMA的系统模型以及其中涉及的关键技术,考虑了二者结合之后所遇到的实际问题,主要从基于NOMA的大规模MIMO系统、大规模MIMO NOMA系统中联合功率分配的用户配对、分簇的大规模MIMO NOMA系统三个方面进行研究。首先,将NOMA技术引入大规模MIMO系统中,分析在大规模MIMO系统中使用NOMA的性能。使用导频传输来获取估计的信道状态信息(Channel State Information,CSI),为了节省导频资源,将用户分成NOMA组,同一组中的两个用户共享同一个导频,导频在上行链路上发送,以便于基站估计所有信道;采用时分双工(Time Division Duplex,TDD)操作,基于信道互易性,获得的下行链路信道可用于相干波束成形,同一组中的两个用户共享同一个波束,在这些条件下推导基于NOMA接入的严格容量界限。仿真验证了在大规模MIMO系统使用NOMA优于正交多址接入(Orthogonal Multiple Access,OMA)。然后,在大规模MIMO NOMA系统中,研究了用户配对问题。基站根据大尺度衰落系数来完成用户配对,由于用户配对与功率分配交织,此问题成为一个混合整数规划问题。为了解决这个非凸问题,利用交替优化的方法获得最优功率分配矩阵,计算出速率矩阵;基于匈牙利算法提出最佳用户匹配方案,且考虑到匈牙利算法用户之间的竞争问题,提出一种低复杂度的用户配对算法,并对该算法进行了仿真分析。最后,将大规模MIMO NOMA系统扩展为每簇包括两个以上的用户。假设每簇有多个用户,在信道估计阶段,同一簇中的用户被分配相同的导频,基站(Base Station,BS)估计来自该簇中所有用户信道的线性组合。BS将估计的CSI用于下行链路波束成形,同一簇中的用户共享同一波束。通过仿真比较了不同的用户簇模式对系统和速率的影响。