论文部分内容阅读
大数据时代,边缘环境中大量的感知设备产生了日益增长的大数据。从这些大数据中攫取出热点内容并将其服务于边缘用户,就会给用户带来体验质量(Quality-of-Experience,QoE)。因此,当前面临的一个难题是改善边缘用户QoE的满意度。本文为了解决这个难题,首先在边缘环境中构建了用户QoE的满意度模型,该模型包含了分析大数据时影响QoE满意度的内容精度以及传输速率因素,也包含了内容缓存时影响QoE满意度的存储延迟与存储消耗因素。其次,为了分析这些因素对用户QoE的满意度带来的影响,本文在边缘环境中引入了大数据分析架构以及内容缓存架构,根据此大数据分析架构,提出基于深度强化学习(Deep Reinforcement Learning,DRL)的大数据分析算法。随着热点内容的爆发式增长,边缘环境面临着“端-端”高吞吐量的压力,故将提取出的部分热点内容存储到内容缓存架构中,便于服务用户。本文的主要工作如下:(1)在边缘计算环境中,为了改善边缘用户QoE的满意度,本文提出了一个用户QoE模型来描述热点内容服务的满意度,通过对高维大数据中热点内容以及热点内容传输速率的理解,寻求热点内容的服务质量和终端用户体验满意度的平衡;在边缘缓存环境中,本文同样提出了一个QoE模型来描述用户对缓存决策的满意度,通过对热点内容的缓存消耗以及缓存延迟的理解,寻求热点内容的服务质量和终端用户体验满意度的平衡。(2)在边缘环境中引入大数据分析架构,增强边缘环境的服务质量(Quality-of-Service,QoS)。本文在大数据分析架构中构造了一个高维-快速卷积神经网络(Tensor-Fast Convolutional Neural Network,TF-CNN)算法,该算法在得到更多热点内容的同时加快了T-CNN的训练速度。具体的,TF-CNN算法是在CNN的基础上引入了T模型以及SVD加速模型:T模型是将原先的向量模型延伸到更高维的张量模型,通过训练T-CNN,能够从大数据中得到更多的热点内容;SVD模型加快了T-CNN的训练速度。其次,将训练出将训练得到的热点内容传输给用户时,传输速率也会影响到用户QoE的满意度,本文基于数学的离散化方法,使得这些离散的速率无限趋近连续。实验证明了所提出的大数据分析架构以及大数据分析方法能够达到用户QoE的满意度。(3)急剧增长的热点内容给边缘环境带来“端-端”高吞吐量的挑战。基于此,本文接着在边缘环境中又引入了内容缓存架构来增强边缘环境的QoS。本文在该缓存架构的基础上使用强化学习(Reinforcement Learning,RL)去智能化地缓存热点内容,通过RL对缓存决策的描述,能够得到一系列与用户QoE的满意度相关的Q值;由于状态空间和动作空间都很大,因此在深度神经网络(Deep Neural Network,DNN)近似器中引入了固定目标网络(Fixed Target Network,F)、经验回放(Experience Replay Buffer,E)来估计最大QoE约束下的Q值。然而,DNN模型的引入,会导致RL不稳定。针对这一问题,本文在RL中更新了学习率,使得RL能够自适应地学习。基于上述DNN以及RL的改进来构建的FEL-DRL算法能够平衡Q值准确性以及RL稳定性。实验证明了本文所提出的内容缓存架构以及基于DRL的缓存决策方法能够达到用户QoE的满意度。