第五代移动通信(5th Generation,5G)系统作为面向2020年以后、面向社会提供通讯需求的新一代移动系统,具有丰富的应用场景。其中,毫米波(millimeter Wave,mm Wave)技术与大规模多输入所输出(massive Multi-Input Multi-Output,m MIMO)技术在5G中起着举足轻重的作用。mm Wave频段丰富的频谱资源与m MIMO系统提供超高的阵列增益相辅相成。因此,mm Wave与m MIMO技术的结合成为5G通信的关键。为了进一步增强通信系统的频谱效率,通常对发送信号进行预编码;而传统的全数字预编码为每根天线配备一根射频(Radio Frequency,RF)链,在m MIMO系统中将导致难以承受的硬件成本和功耗。于是,混合预编码架构被提出受到了人们的关注。而机器学习作为一门人工智能的科学,在解决非线性问题及降低时间复杂度方面有着显著的优势。因此,本文在mm Wave m MIMO系统中,进一步研讨了基于机器学习的混合预编码技术,其内容如下:1.对于单用户mm Wave m MIMO系统,提出了一种基于卷积神经网络(Convolutional Neural Networks,CNN)的混合预编码设计方案。在该方案中,在解耦收发端混合预编码和混合组合器设计基础上,该方案以最大化系统频谱效率为目标,对RF预编码和数字预编码采取分离设计;将从码本中选择最优RF预编码的问题转化为分类问题,进而构建并训练CNN网络,预测最优RF预编码与组合矩阵,并在RF预编码的基础上,来设计数字预编码矩阵。仿真结果表明,与现有的基于OMP的混合预编码方案及穷举搜索方案相比,在保证增强频谱效率与降低误码率的前提下,所提出的方案具有更低的时间复杂度。2.针对多用户mm Wave m MIMO系统,提出了一种基于梯度方向直方图(Histogram of Oriented Gridients,HOG)与支持向量机(Support Vector Machine,SVM)的混合预编码设计方案。该方案首先以用户的期望接收信号功率最大为准则,通过在码本中穷举搜索联合设计RF预编码矩阵和RF组合矩阵;然后利用HOG提取信道样本特征矢量,将已选择的RF预编码矩阵和RF组合矩阵的索引值作为标签,训练SVM分类器,进而预测最优RF预编码矩阵和RF组合矩阵;在此基础上,通过对等效信道矩阵进行ZF处理来设计数字预编码矩阵。仿真结果表明,相比于传统基于优化和穷举搜索方案,该方案能够获得更优的频谱效率和更低的时间复杂度。