第五代移动通信网络部署将日趋密集化和异构化。异构化的无线网络不仅面临传统的空口安全威胁,同时由于其具有节点类型多样、干扰源复杂、网络拓扑结构随机化等特点,使得异构无线网络面临更加严峻的安全挑战。多天线物理层安全传输技术能够利用信道特征以及多节点与多天线带来的空间自由度,保障随机异构网络中合法接收方的通信安全,近来受到业界的广泛关注。然而,现有随机异构网络中的多天线物理层安全研究主要集中于传统异构蜂窝网络安全性能分析框架的建立以及安全传输机制的设计,相关研究尚处于起步阶段,仍有诸多拓展方向亟待研究。具体而言,有以下两个方面:1)缺乏考虑利用该技术提升多跳随机异构网络和随机认知异构网络安全性能的研究;2)缺乏针对随机异构网络中空对地(Air-to-Ground,A2G)通信以及室内通信场景的相关研究。针对上述问题,本文根据不同无线通信系统工作方式和信号传播环境的特点,分别研究了面向不同类型随机异构网络的多天线物理层安全传输技术。首先,在地面通信环境下,利用多天线物理层安全技术提高多跳异构网络和传统认知异构网络安全性能,并针对非正交多址接入(Non-Orthogonal Multiple Access,NOMA)辅助的认知异构网络设计了相应的多天线物理层安全传输方案,以提升网络安全性;然后,在A2G通信环境下,针对无人机基站辅助的悬停式异构网络,利用多天线物理层安全传输技术提升网络安全能效;最后,在室内通信环境下,考虑多层建筑内部位于不同楼层的多种基站构成的室内异构网络,提出了一种多接入点协作安全传输方案。本文主要贡献概括如下:1.针对多跳辅助的随机异构网络中节点分布不均、干扰源复杂及可能存在二次私密信息泄露的问题,就利用多用户多输入多输出(Multi-Input Multi-Output,MIMO)技术提升多跳随机异构网络安全性能展开分析。将网络中用户的工作模式根据其是否直接与基站通信分为常规模式与ad hoc模式。基于随机几何理论构建了多用户MIMO辅助的多跳异构网络物理层安全分析框架,利用多用户MIMO技术提高常规模式用户的接收信道增益,并依据选择策略使其作为中继时的服务距离位于预设范围内,以减小ad hoc模式用户到其服务中继的平均距离,从而降低ad hoc模式用户接收信号的平均路径损耗。基于该框架,对常规模式用户和ad hoc模式用户的安全性能进行了研究,并分析了多跳异构网络的全局安全性能。2.针对随机认知异构网络中主用户优先级高、认知用户网络安全性能弱的问题,就利用多天线技术结合门限接入机制和安全传输机制提升认知异构网络的安全性能展开分析。利用多天线技术服务主用户网络和认知用户网络中的合法用户,提升其平均接收信号功率。此外,利用门限机制控制认知用户网络的通信,减少认知基站层对主用户的干扰。同时,在认知基站周围设置保护区域,当认知基站检测到窃听者时终止通信,以提升认知用户通信的安全性。借助于随机几何理论,对随机认知异构网络进行建模,并构建了网络平均可靠性和安全性分析框架。3.针对NOMA辅助的主网络中因用户分配的信号功率不同引起用户之间可靠性和安全性不均的问题,提出一种基于协作NOMA技术和安全防御机制的安全传输方案。在主基站周围设置保护区域以提高主网络通信的安全性,然后主基站利用波束成形发射信号,令信道条件较好的主用户在剥离出自身信号后,利用NOMA技术为其他信道条件较差的用户(弱信道用户)提供中继服务;弱信道用户在直传时隙和协作时隙分别收到来自主基站和中继用户的信号后,采用选择合并机制处理两个时隙收到的信号。文中对该方案下的主网络安全性和可靠性展开了研究,并基于传输安全中断概率进一步联合分析了上述性能指标。4.针对无人机基站组成的悬停式异构网络续航能力受搭载电源限制、发射方与接收方相距较远会影响网络能效与通信安全的问题,构建一种基于多天线技术和门限接入机制的安全分析框架。无人机基站利用多天线技术提升合法用户的信道质量,并通过门限接入机制减少低质量通信。考虑到无人机基站与地面通信属于A2G通信,该种通信环境中无法忽略非视距传播对信号的影响,常以视距传播和非视距传播的发生概率描述通信信道。在此基础上,基于泊松点过程对各类节点分布进行建模,分析网络的安全性、可靠性以及安全能效,并进一步对网络的接入门限和宏基站发射功率进行设计,以最大化网络安全能效。5.针对多层室内异构无线网络中节点分布随机、发射功率受限、空间层次复杂、损耗类型多样导致网络安全性能受限的问题,提出一种基于多接入点协作的安全传输方案。基于平均接收信号功率门限值选择同楼层的网络接入点作为协作基站集,将协作基站集中的多个基站组成分布式天线阵列,利用多点协作传输技术向目标用户传输信号,提升网络安全性。借助于随机几何理论,以安全覆盖概率为安全性能指标,对多层室内异构无线网络的安全性能进行分析。