正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）技术作为一种多载波调制技术,具有频谱利用率高、抗频率选择性衰落、易于实现等特性,在无线通信中得到了广泛应用。然而不可忽视的是,传输信号通常会受信道多径衰落与收发信机硬件损伤的影响,造成严重的信号失真,并恶化接收机的性能。而通信系统接收机的信号估计与补偿算法能够有效缓解信号失真现象。因此,为了保障信号传输质量以及系统性能,研究OFDM系统接收机的信号处理算法至关重要。论文围绕OFDM系统的信号处理展开,将深度学习引入到OFDM接收机中,研究了同相/正交（In-phase/Quadrature,I/Q）不平衡估计与补偿、信道估计、信号检测等算法,设计了基于深度学习的信号处理改进算法,提升了系统性能。论文的主要研究内容如下:（1）研究了存在I/Q不平衡的OFDM系统基带收发机结构,分析了I/Q不平衡产生原因与对信号带来的恶劣影响,推导了OFDM信号流程基本公式,并介绍了深度学习的基本理论。（2）针对OFDM系统接收机信号检测问题,设计了两种基于深度学习的信号检测算法,包括CNN-OFDM与ZFNet检测算法。其中,CNN-OFDM可以替换传统信号处理模块,直接对频域接收信号进行处理,进而恢复OFDM符号。CNNOFDM能够在固定信道参数的条件下,极大地提升系统性能,且对是否存在循环前缀并不敏感。ZFNet联合传统迫零（Zero Forcing,ZF）算法,将ZF算法初步检测的数据作为输入之一,以有效提取信号特征并恢复OFDM符号。通过仿真可以发现,ZFNet提升了传统ZF算法的检测性能,其误码率曲线与理想的最小均方误差（Minimum Mean Square Error,MMSE）算法得到的结果接近。（3）针对I/Q不平衡与多径衰落信道导致传输信号失真的问题,分别提出了IQIest Net估计算法与LSNet信道估计算法,目的在于提高I/Q不平衡估计或信道估计的精度。IQIest Net与LSNet算法均采用传统估计算法进行初步估计,再采用神经网络有效提取I/Q不平衡或信道特征以实现精确估计。其中,IQIest Net的网络结构简单,训练参数少且容易实现,能够有效提升传统I/Q不平衡估计算法的估计性能。LSNet信道估计算法利用卷积神经网络估计信道参数,在避免MMSE算法复杂计算的同时,提升了信道估计精度。（4）将IQIest Net、LSNet与ZFNet模型统一整合到OFDM接收机传统信号处理模块中,提出了与传统方法结合的联合估计与信号检测算法。通过仿真验证了联合算法能够有效提升传统算法的误码性能。最后,将论文提出的网络模型进行了详细对比,分析了各模型的特点与性能优势。