随着5G的商用以及短视频时代的到来,流量需求呈爆发式增长,频谱短缺、链路拥塞、电磁干扰等等问题日益严峻,无线通信网承受了巨大的压力。与此同时,网络中存在着大量的同质化内容被反复传输,造成了极大的资源浪费。因此,减少无线通信网络同质内容的传输并提升用户访问获取资源的速率成为了当下亟须解决的问题。移动边缘缓存（Mobile Edge Caching,MEC）技术能够显著降低无线通信系统回程拥塞程度,极大减缓核心网络的流量压力,并且,通过将同质化内容卸载到网络边缘,还能够明显降低用户访问时延,因而极大地提升系统的整体性能。作为5G技术物理层的重要支撑之一,大规模多入多出（Massive Multiple Input Multiple Output,Massive MIMO）技术能够使得用户边缘通信速率获得了巨大的提升。但是,为了使得MIMO技术具有可实践性,需要降低天线阵列的复杂度并对数据流进行预编码,从而使得MIMO在应用过程中实现性能和硬件成本的折中。本文主要的工作和研究成果如下:（1）研究异构网络下的移动边缘缓存策略优化问题。首先,构建分层次的异构网通信系统,使用MEC技术并以基站能量损耗、用户间传输能量损耗建立最小化系统能耗的优化问题。通过使用指示函数以及对缓存决策的向量化表示将原问题转化为无约束的最小化优化问题。转化后的问题非凸,因此本文提出一种基于强化学习的缓存决策优化方案。在用户侧基于贪婪思想使用Q-Learning算法进行本地最优缓存决策,在小基站（Small Base-Station,SBS）侧使用深度Q网络（Deep Q Network,DQN）算法实现覆盖范围内的全局最优缓存决策制定。仿真结果验证了所提方案能够有效地对热度文件进行识别并实现缓存策略的制定。（2）研究异构网络数据传输优化问题。引入大规模天线阵列并采用MIMO通信,基于性能和硬件成本的折中考虑,本文采用两阶段混合预编码方案并对混合预编码器进行优化。本章节主要考虑SBS与用户之间的点对点下行传输过程,以最大化频谱效率为目标建立优化问题。在通过奇异值分解方法获取了信道的主要信息后,将问题转化为最优编码器与两阶段编码方案间的弦距最小化优化问题。鉴于问题的非凸性,本章提出了一种基于DDPG的深度强化学习算法来对数字预编码器进行求解,通过构造不同的奖励函数探究了算法的性能。仿真结果验证了所提算法的泛化性能和有效性。