正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）和毫米波大规模多输入多输出（Multiple-Input and Multiple-Output,MIMO）是当前无线通信系统的关键信号传输技术。OFDM是当前无线通信系统中最主流的传输信号格式,也是第五代（5G）通信的波型设计基础。毫米波大规模MIMO通过利用毫米波的超大带宽和大规模MIMO的大阵列为通信提供了显著的性能增益,因此,其在5G通信技术和未来无线通信中得到普遍使用。在快速变化的无线环境中,获取准确的信道状态信息（Channel State Information,CSI）是保证高数据吞吐量的关键,在OFDM系统中,接收器根据CSI恢复在传输过程中受到干扰的信号。对于毫米波大规模MIMO系统,当不同的发射-接收天线对经历独立衰落的信道系数时,可以获得最大的效益,这种最佳性能的实现依赖于准确CSI的可用性。通过信道估计可以直接获取CSI,信道估计的精度影响着CSI的准确性,进而影响通信系统的性能。目前在通信系统中,信道估计存在一定的挑战:（1）传统的信道估计算法具有计算复杂度高、导频开销大、鲁棒性差等缺点。（2）在毫米波大规模MIMO中,每个天线使用专用射频链,硬件和功耗的高成本变得无法承受,波束空间信道模型和基于透镜天线阵列的架构虽然减少了射频链的数量,但是波束空间毫米波大规模MIMO系统的信道估计极具挑战性。针对上述的两个挑战,本文利用卷积神经网络在图像处理上取得的成果,提出全新的基于卷积神经网络的信道估计算法。首先本文先在简单的OFDM系统中验证卷积神经网络的有效性,再将其应用在波束空间毫米波大规模MIMO系统中。（1）针对挑战一,本文提出了基于卷积神经网络的信道估计算法,利用注意力机制和残差网络优化信道估计性能,提高信道估计精度。利用残差网络加入了跳连,这种恒等映射使卷积神经网络反向传播更加方便。运用注意力机制,通过特征图所有通道的相互依赖关系的特点,对其进行模型化,通过学习的方式,自动获得每个特征通道的重要程度,根据重要程度,对任务有用的特征提升权重,对任务无用的特征降低权重。仿真结果表明,我们所提出的算法可以提高信道估计算法精度,并在不同的信道环境中具有将强的鲁棒性。（2）针对挑战二,本文提出了一种基于去噪卷积神经网络的信道估计算法。利用波束空间信道的稀疏性,将信道看做低分辨率图像。利用近似消息传递算法和去噪神经网络得到精准的CSI。仿真结果表明,即使接收机配备了少量射频链,我们所提出的算法依旧具有较高信道估计精度。