随着无线通信技术的快速发展,5G逐步商用并走进人们的生活。在5G系统中,大规模多输入多输出(Massive MIMO)技术的使用能够有效消除用户间干扰,极大提高频谱效率和系统容量。然而,在Massive MIMO系统中,由于天线数目的大幅增加,传统的信道估计、信道反馈、信号检测等技术的复杂度也大幅度提高,存在一些难以克服的问题,这使得人们开始研究更有效的解决办法。近年来,随着深度学习技术的不断发展,其在无线通信领域的应用也越来越广泛,为更好的解决上述问题提供了新的思路。本文在现有研究成果的基础上,重点对深度学习在信道估计和信道反馈方面的应用展开了研究。本文首先介绍了深度学习技术的基础知识和相关理论,然后在深入研究已有算法的基础上,引入深度学习技术对正交频分复用(OFDM)系统中导频辅助的信道估计算法和频分双工(FDD)Massive MIMO系统中的信道状态信息(CSI)压缩反馈算法进行了研究。本文取得的主要成果如下:1.针对OFDM系统中的信道估计技术,在分析了传统算法和现有的基于深度学习的信道估计算法的基础上,提出了一种梳状导频模式下基于深度学习的信道估计算法。该算法将传统算法中导频位置的信道估计部分和信道插值部分联合考虑,通过全连接层神经网络搭建网络模型Comb-CEnet同时完成两部分的功能,从而彻底替换传统信道估计模块。仿真结果显示,与低信噪比下训练的Comb-CEnet相比较,高信噪比下训练的Comb-CEnet在信噪比泛化能力上具有更优异的表现;与传统LS算法以及LS-DFT算法相比,高信噪比下训练的Comb-CEnet在线上运行时能够获得更好的信道估计质量和误码率性能,并且在导频间隔增加时也能够表现出更好的鲁棒性。2.针对FDD Massive MIMO系统中的下行CSI反馈技术,提出了一种基于深度自编码器的CSI压缩反馈算法。该算法以现有基于卷积自编码器的CSI压缩反馈算法为参考,并以信道的空间相关性作为切入点,考虑图像重构和数字恢复之间的精确度差异,利用全连接层神经网络搭建深度自编码器(包括编码器和解码器),通过降低编码器输出层的维度来达到压缩CSI的目的。该算法将训练完成之后的编码器和解码器分别置于接收端和发射端,其中接收端利用编码器压缩CSI并反馈,发射端利用解码器从反馈信息中重构CSI。仿真结果显示,在不同信道场景的不同压缩比下,与现有的卷积自编码器相比较,深度自编码器都能够获得更好的CSI重构质量,从而获得更好的波束成形增益。在复杂度方面,深度自编码器所花费的训练时间要略高于现有的卷积自编码器,但在线上运行的时间几乎没有差异。