随着第五代移动通信(5th Generation,5G)技术日新月异,标志着移动通信技术进入了高速发展的新时代,人们对系统容量和传输速率也提出更高的要求。与此同时,未来信息通信相关产业的碳排放量涨幅较大,将是影响环境的主要因素之一。因此,发展绿色通信,势在必行。在5G中,大规模多输入多输出（Multiple Input Multiple Output,MIMO）技术与深度学习技术的融合作为一种有效的解决方案,能够极大地提升系统性能,已经成为近年来研究的热点。本文对大规模MIMO系统中基于深度学习的预编码展开研究,提出三种算法方案,具体内容如下:在大规模MIMO系统中,传统基于优化和迭代的预编码算法存在很多弊端,如计算较复杂、收敛速度较慢、误码率较高、无法支撑5G系统实时应用。针对上述问题,本文设计了基于卷积自编码器的预编码算法,通过对卷积自编码器进行改进,可以有效减小数据维度和网络参数,降低计算量,从而有效降低训练时间。同时设计新的损失函数,提高网络收敛速度。并且使用PRe LU函数替换Re LU函数,解决由于输入矩阵中存在负数,导致神经元死亡的问题。最后,考虑不同用户数、基站天线数等对系统性能的影响,分别采用1比特和多比特数模转换器两种量化方式。仿真结果表明,相较于对比算法,提出的算法在能量效率和误码率性能方面都有明显提升。在毫米波大规模MIMO系统下,基于有监督学习的预编码算法在训练神经网络过程中需要较多的数据集,因此存在训练数据需求较高的问题。针对这一问题,本文设计了基于无监督学习的混合预编码算法,从而有效减少数据集数量,提高训练效率。搭建Conv＿net和Fully＿net网络结构,在保留边界信息,提高特征提取能力的同时避免过拟合,提高算法的泛化能力。并且根据系统模型和频谱效率表达式,设计更加符合实际情况的损失函数,同时使用Leaky＿Re LU函数解决由于负输入而导致梯度消失的问题。最后,考虑不同参数对系统性能的影响。仿真结果表明,与正交匹配追踪算法、基于相位提取等算法相比,提出的算法性能提升更加明显。为了进一步提高预编码算法精度,降低训练时长,解决由于网络深度增加而导致梯度消失,算法性能骤降的问题。设计了基于改进残差网络的混合预编码算法。搭建残差块结构,每两层Conv＿net构成一个残差块,在残差块的辅助下,梯度消失问题可以得到有效缓解。同时,设计压缩和激励网络,以此来学习自主获得各个特征通道的重要程度,并依照这个重要程度来提高相关特征,约束无关特征。仿真结果表明,所提算法与第四章算法相比,性能得到进一步提升,更接近最佳全数字预编码性能。本文从预编码算法的精度、速度和复杂度等方面进行优化,分别提出了基于卷积自编码器、基于无监督学习以及基于改进残差网络的三种深度学习预编码算法方案。仿真结果表明,提出的三种算法能够有效提高预编码算法的性能,在误码率、能量效率和频谱效率方面均有较好的性能表现。