5G的广泛应用逐步推动了万物互联的发展,随着万物互联时代的到来,数以万计的机器类通信(Machine Type Communication,MTC)设备将通过无线链路上行接入网络,随之带来的拥塞也难以避免。同时考虑MTC设备的能耗问题,绿色能源捕获和无线传能是解决物联网中设备能源紧缺的新思路。本文针对节点能源受限的大规模物联网中上行接入的时延优化问题展开研究,具体的研究内容包括以下几个方面:1.针对大规模物联网中的上行接入拥塞问题和节点能源短缺问题设计基于深度分布式递归Q网络(Deep Distributed Recurrent Q-networks,DDRQN)算法的分布式上行流量控制方案。在节点处建模两个队列,分别是:电池队列和数据缓存队列。电池队列存储捕获到的太阳能或风能等绿色能源为节点发送数据提供能量,数据缓存队列暂时缓存收集到的数据等待发送给基站。上行流量控制问题被建模为一个以最小化时延和电池损耗代价为目标的马尔可夫决策过程(Markov decision process,MDP)。由于该问题的马尔可夫性,我们使用新颖的集中式学习、分布式决策的DDRQN算法求解。该算法可以获得与集中式解决方案——深度确定性策略梯度算法(Deep Deterministic Policy Gradient,DDPG)算法相似的优化效果,同时能够有效减少系统部署后的信令开销。2.针对无线通信系统中的信息时效性保证,信息年龄(AoI,Age of Information)的概念被提出用于量化无线系统中信息更新的及时性和新鲜度,其描述的是观测节点距离上一次更新的数据包被成功接收以来所经历的时间。作为一个新颖的信息时效性度量指标,AoI与现有的延迟和时延具有显著的不同。为了深入了解这一新概念,本文深入调研了 AoI优化的基本概念和基本方法,以及AoI优化在无线网络中应用的几个典型场景。3.针对物联网中的上行传输时延保证和节点能源受限问题设计以AoI为优化目标的上下行用户和能源调度问题。本文研究的大规模物联网系统中有一个接收节点,多个需要实时更新数据的源节点,节点的信息更新时效性利用AoI来量化。基站同时为这些能源受限的节点提供无线传能(Wireless Energy Transfer,WET)服务。将使系统AoI最优的资源配置和用户调度策略问题建模为一个MDP问题,每个节点更新两个队列,包括:节点AoI队列和电池电量队列。通过用户调度和WET资源配置,使节点能源受限的系统中的平均AoI最小,同时满足每个节点的AoI约束。该优化问题使用强化学习算法——DDPG找到最优的资源配置和用户调度策略。综上所述,本文以大规模物联网系统中的时延优化为目标,分别采用节点排队时延和AoI两个指标来量化系统时延。同时考虑物联网节点的能源受限特性,分别采用时下流行的绿色能源收集技术和WET技术为节点提供能源保证。在优化问题求解过程中,考虑到时延队列、AoI队列、电池能源队列的马尔科夫性,将问题建模为MDP问题并利用新颖的强化学习算法来求解优化问题。仿真结果表明,本文提出的两种优化大规模物联网系统时延的方案均实现了时延的降低,同时也降低了资源受限的节点的能耗,防止节点因电量耗尽而脱离网络。