近年来移动通信技术飞速发展,移动设备数量剧增,更大带宽、更低时延、更多连接的多元通信需求为5G通信网络带来了巨大的挑战。因此,未来5G无线网络将面临更为严峻的频谱稀缺问题。利用免许可频段进行辅助通信是应对上述问题的关键技术之一。为了支撑未来5G网络的多种传输频段、部署方案以及接入技术,新空口免许可频段通信（NR in Unlicensed Spectrum,NR-U）技术应运而生。然而,NR-U技术的应用也面临着巨大的难题,包括异构网络不同接入方式的兼容、同信道干扰的抑制以及多维变量的联合优化。尽管目前已有较多关于NR-U异构网络融合方案的研究,但现有共存机制大多基于时分复用,仅支持非连续的数据传输,难以应对日益增长的通信需求。为解决上述问题,本文针对基于空间复用的5G免许可频段异构网络融合及优化开展研究,通过充分利用空间资源实现异构网络的友好共存,从而进一步提升频谱效率。主要研究内容如下:（1）本文提出了一种基于协作多点传输（Coordinated Multipoint,Co MP）的NR-U异构网络协调传输方案。我们首先引入一种基于空间复用的增强型先听后说（Listen Before Talk,LBT）机制,通过控制蜂窝基站与Wi Fi设备进行正交传输实现共存。为进一步抑制蜂窝网络间的干扰,我们提出了一个波束赋形和用户选择的联合优化问题,并利用一种半分布式的交替方向乘子法（Alternating Direction Method of Multipliers,ADMM）对该NP-hard问题进行求解,有效降低信令开销。仿真结果验证了Co MP机制在实现NR-U异构网络协调传输、提升频谱效率方面的适用性,也证明了在大规模网络下应用半分布式算法的可行性。（2）本文提出了一种基于可重构智能表面（Reconfigurable Intelligent Surfaces,RIS）的免许可频段公平共存方案。通过部署价格低廉的RIS,并控制其反射波束实现干扰消除与信号增强,提升空间复用增益。为了保障多种异构网络共存的公平性,我们提出了一个基站功率、RIS反射系数与Wi Fi接入用户选择的联合优化问题,并引入一种基于交替优化（Alternating Optimization,AO）与连续凸近似（Successive Convex Approximation,SCA）方法的双层优化算法来实现异构网络最小速率的最大化,最终实现Wi Fi系统与异构蜂窝网络间的性能折中。实验结果证明,通过AO-SCA算法合理地部署RIS,能够有效提升免许可频段上异构网络的共存性能。相较于传统的时分复用共存方案,本文提出的两种基于空间复用的5G NRU异构网络融合与优化方案能显著提升系统性能,对未来通信系统中异构网络高谱效、低开销、低成本的融合共存具有一定的参考价值。