毫米波是推动第5代（5th Generation Wireless Systems,5G）无线通信未来快速发展的关键技术。由于毫米波波长短,受路径损耗的影响较大;通过充分利用超大规模天线阵带来的阵列增益,能够弥补路径损耗的影响;且毫米波系统中的天线尺寸小,能够容纳大规模天线,因此毫米波结合大规模多输入多输出（massive multi-input multi-output,massive MIMO）是未来5G通信的主要发展方向。然而,大规模天线同时保持打开状态用于信号发射会产生极高的能耗;且毫米波通信中所需的高频器件及大量的射频链路成本高昂。天线选择技术通过较少射频链满足多天线需求,自适应地控制天线开关,能极大减少不必要的射频链路成本和能耗。此外,用户不仅对通信速率提出了更高的要求,而且更重视新技术下的通信安全。物理层安全技术以无线信道的内生安全属性为出发点,基于无线信道的物理特性发掘更优的保密性能,是上层安全技术的有力补充。其中,物理层安全天线选择技术利用无线信道状态特征,通过选择使信道遍历保密容量最大化的天线用于信号收发,能够有效提升信号传输安全性。为了更好地利用毫米波特性,毫米波系统下的物理层安全天线选择方案可实现的保密性能需要进行进一步的研究与评估。本文主要研究了毫米波MIMO窃听信道中,针对信道估计存在误差、传输处理造成时延,导致用于信号处理的信道状态信息（Channel State Information,CSI）不完美的问题,提出了联合信道预测与天线选择的安全传输框架,并分析了不完美CSI对毫米波通信系统保密性能的影响。为了提升毫米波MIMO系统的保密性能。本文的主要工作及贡献如下:首先,本文提出了一种联合信道预测与最佳天线选择的物理层安全传输框架,并分别给出了在时分双工（Time Division Duplex,TDD）、频分双工（Frequency Division Duplex,FDD）系统下联合安全传输框架的具体实现过程。在该联合框架下,为表征时变信道的时域相关性,推导了无线信道在时间域上的自相关函数,在此基础上进一步推导了信道可实现的遍历保密容量上界作为性能指标。其次,针对用于安全天线选择方案的CSI存在估计误差与传输处理时延问题,本文利用长短时记忆网络（Long-Short Time Memory,LSTM）的时间记忆特性提出了一种信道状态预测方案,以缓解CSI不完美对天线选择方案结果的不利影响。仿真结果表明,相比传统基于非线性自回归网络的信道预测方案,基于LSTM的CSI时间序列预测方案,在均方根误差性能上至少有50%的提升,有效降低了预测误差。因此,本文的信道预测方案能有效缓解信道估计误差和传输处理时延对系统性能带来的负面影响,从而获得接近完美的预测CSI。再次,获取预测的信道状态后,本文针对传统基于最优化的最佳发射天线选择（Transmit Antenna Selection,TAS）方案存在高计算复杂度的问题,基于支持向量机（Support Vector Machines,SVM）的高分类准确率特性提出了一种最佳TAS方案,以降低传统天线选择的决策复杂度;此外,针对训练分类模型的过程存在高开销的问题,本文利用随机梯度下降（Stochastic Gradient Descent,SGD）方法改进了基于SVM的TAS方案的参数更新策略,以提升其训练效率。仿真结果表明,在本文的实验参数设置下,基于SGD的TAS方案训练决策所使用的时间约10s,选择准确率高达98%;而基于经典SVM的TAS方案花费了约1200s,准确率约92%。可见,利用SGD方法能有效改善基于SVM算法的TAS方案存在的高训练成本问题,且保密性能未有损失,验证了所提方案可实现的保密性能及提升训练效率的有效性。最后,由于梯度提升决策树（Gradient Boosting Decision Tree,GBDT）在实际的系统应用中展现出较好的性能优势,而SGD虽然带来较大的效率提升,但其可实现保密性能不是最优的;针对这一问题,本文提出了一种基于GBDT的TAS算法,可以实现保密性能与效率两个方面的折衷,一方面可实现逼近最优的保密性能,另一方面相比传统SVM算法也有一定的效率提升。仿真结果表明,基于GBDT的TAS方案训练决策花费时间约400s,而基于SVM的TAS方案花费约1200s,验证了所提方案的有效性。更进一步,本文将所提安全方案推广至massive MIMO系统中,分析并仿真验证了增加发射天线数量对系统保密性能存在增益作用,增加用户数量对系统保密性能存在负面影响。