当前,全球5G的商用化进程正在加快,全球多区域国家以及组织已陆续开始启动关于6G网络的研究。非正交多址接入（Non-Orthogonal Multiple Access,NOMA）作为一种多用户共享同一频带的无线通信技术,可以提高无线网络的覆盖范围与容量,支持更多的用户连接,因此被认为是提高未来5G甚至6G网络频谱效率的一种替代技术;另外,毫米波通信能够有效解决当前频谱资源不足的问题,但是其在传播过程中的衰减以及多径效应等问题,也给毫米波通信的应用带来了不小的挑战,在此背景之下,可以引入多输入多输出（Multiple-InputMultiple-Output,MIMO）技术进行补偿,在毫米波MIMO系统中,混合预编码方案可以有效减少射频链路的数量同时不会过多地损失系统性能,但是射频链路的减少意味着可服务用户数量的减少。因此将NOMA技术引入毫米波大规模MIMO系统中可以进一步提高可服务用户数量。然而,毫米波MIMO-NOMA快速变化的信道条件以及复杂的空间结构带来了巨大的复杂度并阻碍它的应用。因此,基于深度学习的毫米波MIMO-NOMA系统成为了当前研究的热点之一。基于深度学习的毫米波MIMO-NOMA混合波束成型算法设计可以利用神经网络模型来实现端到端的波束成型,从而避免传统方法中的繁琐参数调节。此外,基于深度学习的方法可以自适应地对复杂的通信信道进行建模和处理,从而提高系统的鲁棒性和性能稳定性。已有的研究表明,基于深度学习的毫米波MIMO-NOMA混合波束成型算法设计可以在保证通信质量的同时,大幅降低通信时延和计算复杂度,具有较好的实际应用前景。本文提出了基于深度学习的MIMO-NOMA混合波束成型设计算法,具体地说,将深度学习技术应用到多线性广义奇异值分解（Multilinear Generalized Singular Value Decomposition,ML-GSVD）方法中,对MIMO-NOMA通信系统进行特征分解,从而自适应地进行波束成型参数的选择。具体的工作内容如下:首先,使用神经网络进行ML-GSVD算法的拟合以初步证明方案的可行性。具体地说,本文将信道矩阵作为神经网络的输入并拟合ML-GSVD算法的分解过程输出相应的结果,并通过损失函数对神经网络进行训练,最终得到准确的结果。此时可将该过程视作全数字毫米波MIMO-NOMA波束成型设计过程;其次引入功率约束以及NOMA中的解码顺序约束等条件,将MIMO-NOMA波束成型设计建模成一个关于系统和速率的优化问题,并将主要优化目标以及约束条件分别作为神经网络惩罚函数的主项以及惩罚项进而指导神经网络进行训练,最终得到最佳的波束成型设计方案。随后比较不同方案以及本方案中不同的参数设置在毫米波MIMO-NOMA系统中的和速率,并对它们的复杂度进行分析。仿真结果表明,本文提出的基于深度学习的毫米波MIMO-NOMA波束成型算法设计在性能上接近全数字波束成型方案,并且对比传统的ML-GSVD算法方案以及深度学习方案,性能上也有提高。