随着移动互联网和物联网的快速发展,通信技术的应用覆盖面也越来越广,各行各业对于数据传输业务的需求量迅速增加。由于目前传统的正交多址（Orthogonal Multiple Access,OMA）技术可实现的速率已经接近极限,所以如何寻求新的多址技术已经成为业界普遍探讨的议题。非正交多址技术（Non-Orthogonal Multiple Access,NOMA）能够在功率域或码域实现非正交的多用户复用。与OMA相比,它可以增加系统允许接入的用户数量,进一步提高传输速率和系统容量。另外,毫米波通信解决了频谱资源不足的问题,但在高频段的路径损耗非常高,可以通过高增益波束成形多输入多输出（Multiple-Input Multiple-Output,MIMO）技术进行补偿。在毫米波大规模MIMO系统中,混合预编码方案可以有效地减少射频链路的数量,并且系统的性能不会有很大的损失,但是射频链路数量的减少也意味着可以在系统中服务的用户数量减少。因此,将NOMA技术应用于毫米波大规模MIMO系统中,可以进一步扩大系统中服务的用户数量。本论文针对如何在毫米波的大规模MIMO-NOMA系统中,设计一个合理的用户分簇、预编码和功率分配方法,展开了研讨。主要工作如下:首先,研究NOMA技术的基本原理和性能分析,比较了NOMA和OMA的系统容量,发现NOMA在无线通信中具有较大的优势;进而,介绍了MIMO的基本原理;研究了毫米波的信道模型并着重讨论了其传输特性和优缺点。然后,本论文研究了面向机器类通信（Machine Type Communications,MTC）设备的毫米波MIMO-NOMA的用户分簇和功率分配问题。主要目标是最大限度地提高两种不同的MTC设备地下行链路加权和速率。首先根据系统模型,设计了用户分簇和功率分配方案。用户分簇方案主要考虑服务质量（Quality of Service,Qo S）需求,MTC设备被分配到NOMA簇中的不同等级,在那里它们通过相同的频率资源传输。接下来,根据MTC设备的分簇结果,对其进行功率分配,我们把加权和速率来作为系统的评估指标,这样将用户的功率转变为求解加权和速率的约束条件。为了解决这个具有高维变量的非凸问题,我们通过引入两组辅助变量将问题转化为凸形式。提出了一种迭代式功率分配算法,并根据该方法获得问题的最优解。仿真结果表明,在毫米波MIMO-NOMA系统中,我们所提出的方法在和速率性能方面有了明显的提升。最后,本论文进一步对用户分簇、预编码和功率问题进行了研究。特别地,我们考虑具有混合预编码架构的下行链路传输。为了最大限度地提高系统的加权和速率,我们在有限的射频链数量和发射功率下,我们将消息传递（Message Passing,MP）策略用来解决系统的用户分簇问题。同样地,我们把加权和速率作为系统指标,将用户分簇和功率分配分成两个阶段来进行求解。在第一阶段,假设只有模拟预编码可用,根据MP策略对用户分簇,进而提出了一种最小求和消息传递（Min-Sum Message-Passing,MSMP）的用户分簇算法。在第二阶段,根据第一阶段的用户分簇算法,进行迫零数字预编码,提出了一种转换方法来解决非凸功率分配优化问题,来实现最大化系统加权和速率的目标。在此基础上,我们又提出了一种低复杂度的多射频链NOMA功率分配算法。仿真结果表明,所提出的用户分簇和功率分配算法在加权和速率方面优于传统方案。