论文部分内容阅读
近年来移动蜂窝网络流量呈指数级增长,其背后的驱动力根本上从传统的“以连接为中心”的通信业务(例如电话和短信),转变为“以内容为中心”的通信业务(例如视频流和内容共享)。在无线网络边缘进行主动式内容缓存是缓解流量负担,减少内容访问延迟并改善用户体验的有效方法。然而经典的编码缓存带来的增益在实际系统中会因文件大小有限降低,并且静态的缓存放置方案无法应对实际的动态内容流行度与用户需求。本文对非中心式的编码缓存网络提出了一种高效的适合有限文件长度的内容分发方案,并对边缘缓存网络设计了应对动态内容流行度和用户需求的智能缓存策略。主要研究成果如下:1.针对文件大小有限的编码缓存网络,为了最小化网络总体的流量负载,本文提出了一种新的非中心式缓存的内容分发方案。其主要思想是根据用户的缓存状态定义一个失配度函数,其表征每对可合并数据包的匹配度。最小化网络流量负载可以等价为最小化总体失配度。基于失配度函数,以贪心的方式选择具有最小失配值的一对数据包进行编码多播。数值结果表明,本文提出的方案优于所有现有的有限文件大小的分发方案,并且时间复杂度为多项式复杂度。2.针对单缓存节点的无线网络,提出了一种新的线性预测模型,称为分组线性模型(GLM),基于历史内容请求数据估计未来的内容请求。由于新内容不断发布且用户偏好具有动态性,实际系统中的内容流行度会随时间变化。相比许多现有工作假设静态内容流行度分布,本文提出的模型可以适应实际系统中动态的内容流行度。基于预测的内容流行度,进一步提出了一种无模型加速的强化学习方法(RLMA),实现权衡缓存命中和缓存替换代价的在线缓存替换。该方法通过生成虚拟样本更新Q值,来加速非平稳环境中的学习过程。基于真实数据的仿真结果表明,所提出的GLM模型的缓存命中率优于Least recently used(LRU)和Least Frequently Used with Dynamic Aging(LFUDA),并且所提出的RLMA算法与其他算法相比提供了更高的长期奖励。3.针对多缓存节点的无线网络,提出了一种基于协作多代理强化学习的分布式缓存放置策略。每个用户具备多种获取内容的方法,从本地缓存直接获取,从邻居节点通过设备直通(D2D)获取,及通过基站获取。我们把最优缓存策略描述为一个优化问题,其优化目标是最小化满足所有用户请求的平均下载延时。由于用户具有移动性且内容流行度未知,这是一个非确定优化问题。为了找到近似最优解,本文提出了一个基于多代理强化学习的分布式算法,在没有中央协调器的情况下进行分布式缓存策略学习。多代理框架降低了经典单代理的状态动作空间,提高了算法运行效率。基于边的Q函数分解实现了缓存节点之间的协作,减小了通信开销。仿真结果表明,所提出的分布式算法相比缓存最流行的内容,可以显着降低平均下载延迟。随着算法逐渐收敛,平均下载延时可以逼近中心式贪心算法。