多输入多输出（MIMO）和正交频分复用（OFDM）技术作为4G下的关键技术,得到了充分的应用和发展。而且随着5G技术的普及,其有望继续应用到新技术中,同时也要面临新的挑战。深度学习作为人工智能的一个重要分支,已在许多方面得到应用,例如目标检测、文本分析、图像处理。论文将无线通信与深度学习相结合作为研究重点,特别是在MIMO-OFDM系统信道估计和信号检测方面。研究过程中依次对OFDM信号处理、离散IQ信号检测问题提出相应设计,此外还提出了大规模MIMO-OFDM系统中峰均比降低设计以及初步探讨压缩感知（CS）技术在通信中应用的可行性。首先,为了降低信道估计的复杂度,提高信号检测的准确性,同时充分利用当前科技研究的最新成果,提出了一种新的基于卷积神经（CNN）的正交频分复用系统信道解码方法。块状结构通信系统,作为OFDM系统传统结构,通常包含了信道估计,均衡,解调等过程。信道估计算法有最小二乘法（LS）以及最小均方误差（MMSE）,其中LS算法最为简单,算法复杂度低,但准确性较差,估计结果受噪声的影响较大。MMSE方法考虑了噪声对解调端的影响,准确性较高,但信道的统计特性作为先验知识。传统方法在精确度或者复杂度上逐步无法适应当今毫米波通信的要求。本文利用深度学习工具将信道问题看作自回归问题,将接收信号看作一维数组。利用卷积网络进行特征提取,然后利用全连接（FC）层进行分类,得到软比特信号。仿真结果证明,该方法在复杂性上和LS法相当,性能上优于MMSE算法。其次,作为数字通信中常用架构,IQ调制解调主要优势是可以在发送端将两路信号合成一路,在接收端又分为两路单独处理。我们提出了以端到端模式基于深度学习网络,尤其是长短期记忆网络（LSTM）完成传统通信系统中的信道估计与信号检测。设计结合了先进的深度学习结构和数据驱动模式处理复数信号。接着,高峰均比（PAPR）问题作为多载波传输系统中最不利因素之一,严重限制了接发机的性能。在本文中,我们提出了传统部分传输序列技术与深度学习相结合的设计,即集成峰均比降低网络（EPRNet）。通过结合传统加扰技术,EPRNet被设计为模型驱动模式。它以低计算复杂度与高准确率输出最优的相位旋转因子。该设计在互补累积分布函数（CCDF）与误码率（BER）评价指标优于传统方法。仿真结果表明了EPRNet在性能方面较其它方法有着平均2dB的性能提升。最后,本文为了降低在上行链路中高维度信号估计中导频开销大的问题,我们提出了基于压缩感知技术与DNN的MIMO-OFDM信道估计器。该设计结合了CS技术采样频率低与LSTM技术性能优越的优点,能够以较低复杂度与较高准确率进行信道估计与信号检测。