为了满足增强型移动带宽、海量机器互联、超高可靠低延时等通信场景,第5代移动通信系统在通信速率、能量效率、延时及通信可靠性等方面提出了更高的要求,并将其通信频率范围扩展至毫米波频段。结合大规模MIMO和波束形成技术,毫米波MIMO通信系统不仅可以充分利用毫米波频段丰富的频谱资源,而且能够抵抗毫米波路损和衰减严重的问题。然而,窄波束的使用也增加了毫米波MIMO通信系统波束设计的复杂度。为了更高效地设计码本并减少波束对齐所需的时间,本文拟结合深度学习和强化学习等智能算法,解决上述难题。本文的主要工作如下:1、为了充分利用通信系统所处的环境特征和信道特征,研究了一种基于深度学习的码本设计算法。传统码本设计方法并未利用通信系统所处的环境特征,无法达到最佳性能。本章算法通过神经网络学习通信系统的环境和信道特征,进而设计相关码本,提高了波束增益,增大了接收功率。算法仿真结果表明,基于深度学习的码本设计算法不仅提高了码本中波束的增益,而且能够满足覆盖要求。此外,该算法考虑了相移器的硬件约束,每个预编码矢量均为恒模值,具有实用价值。2、针对毫米波MIMO通信系统码本中码字数量太多导致穷搜算法时间开销太大的问题,提出了一种基于深度学习的波束选择算法。在理想信道条件下,基站端只需利用用户端发送的导频信号即可预测最优码字,大大缩减了波束选择的时间。在上行链路中,用户端向基站端发送导频序列,基站端通过全向波束接收并分析导频信号,使用已经训练完成的神经网络模型预测最优波束。基站端的接收信号包含了环境的散射、反射以及基站和用户间的信道等信息,因而通过神经网络模型可以学习历史最优波束和接收信号之间的映射关系,进而预测当前信道环境下的最优波束。与穷搜算法相比,基于深度学习的波束选择算法无需扫描码本而是根据接收导频信号预测最优波束。算法仿真结果表明,在信道质量较好时,基于深度学习的波束选择算法的波束对齐概率可比拟穷搜算法。由于大大缩减了波束选择的时间,通过神经网络预测最优波束可以获得更优的有效可达速率。3、针对毫米波MIMO通信系统在移动场景中需要频繁波束扫描以获取最优波束的问题,提出了一种基于强化学习的波束训练算法。算法的主要思想是将移动场景下的波束训练视为马尔可夫决策过程,通过强化学习方法探索信道环境,并积累以往波束训练的经验,确定最优子码本空间,减少需要扫描的码字数量。算法仿真采用了数模混合波束成形架构,在模拟预编码阶段,系统仅需扫描强化学习算法选择的最优码本子空间,根据最大接收功率原则确定模拟预编码矢量。在数字预编码阶段,根据选用的最优模拟预编码矢量确定等效信道,进而迭代求解最优数字预编码矢量,完成数模混合预编码。仿真结果表明,基于强化学习的波束训练算法能够有效选择最优子码本空间,大大节省波束训练的时间。与穷搜算法相比,该算法可以达到更高有效可达速率,提升系统综合性能。